[논문 리뷰] Joint Prediction of Depths, Normals and Surface Curvature from RGB Images using CNNs

Thanuja Dharmasiri, Andrew Spek외 1명|arXiv (Cornell University)|2017. 06. 23.

Robot Manipulation and Learning참고 문헌 23인용 수 13

한 줄 요약

이 논문은 단일 RGB 이미지에서 깊이, 표면 법선, 표면 곡률을 동시에 예측하는 새로운 CNN 기반 다중 작업 프레임워크를 제안한다. 이는 표면 곡률을 RGB 데이터만으로 정확하게 추정할 수 있음을 처음으로 입증한다. 모델 용량을 유지하면서 모든 세 가지 작업을 동시에 훈련함으로써, 현재 최고 성능(SOTA)을 달성하였으며, 주 곡률 κ₁에 대해 2.81 m⁻¹의 RMS 오차를 기록하고, 1 m⁻¹ 이내의 곡률 값 비율이 80.3%에 이른다.

ABSTRACT

Understanding the 3D structure of a scene is of vital importance, when it comes to developing fully autonomous robots. To this end, we present a novel deep learning based framework that estimates depth, surface normals and surface curvature by only using a single RGB image. To the best of our knowledge this is the first work to estimate surface curvature from colour using a machine learning approach. Additionally, we demonstrate that by tuning the network to infer well designed features, such as surface curvature, we can achieve improved performance at estimating depth and normals.This indicates that network guidance is still a useful aspect of designing and training a neural network. We run extensive experiments where the network is trained to infer different tasks while the model capacity is kept constant resulting in different feature maps based on the tasks at hand. We outperform the previous state-of-the-art benchmarks which jointly estimate depths and surface normals while predicting surface curvature in parallel.

연구 동기 및 목표

• 단일 RGB 이미지에서 표면 곡률을 정확하게 추정할 수 있도록 하는 것. 이는 이전에 딥 러닝에서 다루지 않은 과제이다.
• 깊이 및 표면 법선 예측 성능 향상에 시각 불변 기하 특징인 곡률 학습이 기여하는지 조사하는 것.
• 철저히 설계된 비수동 특징이 공동 훈련 시 딥 네트워크 성능 향상에 기여할 수 있음을 보여주는 것.
• 예측 작업 수를 늘리되 모델 용량을 일정하게 유지하여 다중 작업 학습의 효과성을 검증하는 것.

제안 방법

• 粗모델 예측(깊이, 법선, 곡률)을 더 세밀한 레이어의 특징 맵으로 사용하는 이중 단계 딥 러닝 아키텍처를 사용한다.
• 깊이, 표면 법선, 주 곡률을 동시에 최적화하는 다중 작업 학습 목표를 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 표면 곡률은 RGB 입력에서 직접 예측되며, 지도 곡률은 깊이 데이터의 이阶 도함수를 사용해 계산된다.
• 색상 기울기, 깊이 기울기, 곡률 크기를 조합한 경계 함수를 사용하여 분할의 정성적 유용성을 시각화한다.
• 표준 평가 지표(예: RMS 오차, 중앙 오차, 임계값 σ 이내 예측 비율)를 사용해 NYUv2 데이터셋에서 모델을 평가한다.
• 공유 인코더와 작업별 헤드를 사용하며, 공동 훈련 전략이 세 가지 작업 간 특징 학습을 유도한다.

실험 결과

연구 질문

• RQ1 딥 러닝을 사용해 단일 RGB 이미지에서 표면 곡률을 정확하게 예측할 수 있는가?
• RQ2 깊이, 법선, 곡률을 동시에 훈련하면 개별 훈련보다 세 가지 작업의 성능 향상이 이루어지는가?
• RQ3 깊이 및 법선 추정 성능 향상에 기여할 수 있는 시각 불변 기하 특징인 곡률이 유용한 인덕티브 바이어스가 될 수 있는가?
• RQ4 곡률을 지도 신호로 포함함으로써 네트워크의 일반화 능력과 특징 표현 능력 향상이 이루어지는가?

주요 결과

• 제안된 공동 모델은 주 곡률 κ₁에 대해 2.81 m⁻¹의 RMS 오차를 기록하며, 베이스라인 방법(5.56 m⁻¹)과 곡률 전용 모델(3.41 m⁻¹)보다 유의미하게 뛰어나다.
• 공동 모델은 곡률 예측의 80.3%가 1 m⁻¹ 이내에 속하며, 깊이 전용 모델(44.2%)과 곡률 전용 모델(73.2%)에 비해 뛰어나다.
• 공동 훈련 프레임워크는 깊이 및 법선 예측 성능을 향상시키며, 깊이에 대해 6.03 m⁻¹의 RMS 오차를 기록했다(곡률 전용 설정 대비 6.50 m⁻¹).
• 곡률 예측의 72.7%가 0.5 m⁻¹ 이내에 속하여 비평면 영역에서의 노이즈에 강건하고 높은 정확도를 보였다.
• 정성적 분할 결과는 예측된 깊이와 곡률을 조합함으로써 경계 검출 성능 향상이 가능하며, 특히 벽과 깊이 경계에서 색상 기반 분할보다 뛰어나다는 것을 보여준다.
• 결과적으로 네트워크가 잘 설계된 특징(예: 곡률)을 통해 가이던스를 받을 경우, 특징이 수동으로 설계되지 않더라도 표현 학습이 향상됨을 입증한다.