[논문 리뷰] A Two-Streamed Network for Estimating Fine-Scaled Depth Maps from Single RGB Images

Jun Li, Reinhard Klein외 1명|arXiv (Cornell University)|2016. 07. 04.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 단일 RGB 영상에서 깊이와 깊이 기울기(1차 도함수)를 동시에 추정하는 이중 스트림 CNN을 제안하며, 엔드 투 엔드 학습 또는 최적화를 통해 이를 융합하여 고해상도이자 잡음이 없는 깊이 맵을 생성한다. 제안된 방법은 뉴런망의 특징 맵을 풀링 및 컨볼루션을 통해 다운샘플링하는 기존의 CNN 방식이 초래하는 세밀한 세부 사항 손실과 3D 투영 왜곡을 줄이며, 보다 향상된 局부 세부 정보를 확보함으로써 NYU Depth v2 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 3D 재구성 품질을 달성한다. 이는 새로운 세트 손실을 통해 일반화 능력과 정확도를 향상시켜 달성된다.

ABSTRACT

Estimating depth from a single RGB image is an ill-posed and inherently ambiguous problem. State-of-the-art deep learning methods can now estimate accurate 2D depth maps, but when the maps are projected into 3D, they lack local detail and are often highly distorted. We propose a fast-to-train two-streamed CNN that predicts depth and depth gradients, which are then fused together into an accurate and detailed depth map. We also define a novel set loss over multiple images; by regularizing the estimation between a common set of images, the network is less prone to over-fitting and achieves better accuracy than competing methods. Experiments on the NYU Depth v2 dataset shows that our depth predictions are competitive with state-of-the-art and lead to faithful 3D projections.

연구 동기 및 목표

• 복잡한 실내 환경에서의 단안 깊이 추정이 내재하는 모호성과 부족한 문제 성질을 해결하기 위해.
• 풀링 및 컨볼루션을 통해 특징 맵을 다운샘플링하는 표준 CNN이 초래하는 세밀한 스케일의 세부 정보 손실과 3D 투영 왜곡 문제를 해결하기 위해.
• 증강된 이미지 변형 간 예측을 정규화하는 새로운 세트 이미지 손실을 도입함으로써 깊이 추정의 일반화 능력 향상과 과적합 방지를 위해.
• 깊이와 깊이 기울기(1차 도함수)를 동시에 회귀함으로써 국소적 구조적 세부 정보를 보존하기 위해, 깊이만으로는 부족한 경계 및 모서리 표현을 향상시키기 위해.
• 기존 최신 기술 대비 더 정확하고 세밀한 3D 재구성을 가능하게 하는 깊이 맵을 생성하기 위해, 특히 물체 경계와 표면 구조의 보존에 중점을 두기 위해.

제안 방법

• 이중 스트림 CNN 아키텍처를 제안한다: 한 스트림은 절대 깊이를 회귀하고, 다른 스트림은 깊이 기울기(1차 도함수)를 회귀함으로써 깊이와 국소 기하학적 구조를 동시에 모델링할 수 있도록 한다.
• 사전 훈련된 VGG-16 특징에서의 스킵 연결을 사용하여 양 스트림 모두에서 공간 해상도를 유지하고 특징 표현을 향상시킨다.
• 동일한 이미지의 다수의 증강된 변형에 대해 정의된 새로운 세트 손실은 개별 예측 오차와 이미지 간 예측 분산을 동시에 최소화하여 일반화 능력을 향상시킨다.
• 두 가지 융합 전략을 도입한다: (1) 깊이 및 기울기 예측을 조합하기 위한 추가 컨볼루션 레이어를 사용한 엔드 투 엔드 훈련, (2) 예측된 깊이와 기울기 간 일관성을 강제하는 직접 최적화.
• 세트 손실은 동일한 장면의 증강된 시각 간 깊이 예측 간 큰 차이를 방지하는 정규화 항을 포함하여, 약 5%의 RMS 오차 감소를 이끌어내며 강인성과 정확도 향상을 도모한다.
• 최종 깊이 맵은 학습된 또는 최적화 기반 융합을 통해 깊이와 기울기를 융합함으로써 더 높은 정밀도의 3D 투영을 생성한다.

실험 결과

연구 질문

• RQ1 깊이와 깊이 기울기의 동시 추정이 기존의 깊이 전용 회귀 대비 단안 깊이 맵의 정밀도와 국소 세부 정보 향상에 기여하는가?
• RQ2 동일한 이미지의 다수의 증강된 시각에 걸쳐 예측을 정규화하는 세트 손실이 깊이 추정의 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 깊이 및 깊이 기울기 예측의 조합이 최신 기술 대비 잡음이 적고 장면 기하학에 더 잘 일치하는 3D 재구성을 가능하게 하는가?
• RQ4 제안된 이중 스트림 네트워크 아키텍처는 기존의 깊이 추정을 위한 딥 러닝 모델 대비 훈련 속도와 수렴 성능에서 어떻게 비교되는가?
• RQ5 RMS 오차와 같은 수치적 지표가 깊이 추정 과제에서 인지적 품질과 3D 재구성 정밀도와 얼마나 관련이 있는가?

주요 결과

• 제안된 방법은 NYU Depth v2 데이터셋에서 경쟁적인 성능을 달성하였으며, 깊이 전용 버전의 RMS 오차는 0.715이며, 모든 구성에서 0.715~0.719의 범위를 보이며, 3D 재구성 품질에서 이전 방법들을 능가한다.
• 세트 손실은 증강된 이미지 세트 간 예측을 정규화함으로써 기존 기준 대비 약 5%의 RMS 오차 감소를 이끌어내어 일반화 능력과 강인성을 향상시켰다.
• 예측된 깊이 맵에서 유도된 3D 투영은 수치적 지표가 유사한 최신 기술 대비 훨씬 적은 왜곡과 더 풍부한 국소 구조를 보였다.
• 네트워크는 매우 빠른 수렴을 보였으며, 깊이 기울기 학습은 약 1 에포크 내에 완료되었고, 단일 TITAN X GPU에서 총 훈련 시간은 약 70시간이었다. 이는 아키텍처와 스킵 연결 덕분에 빠른 훈련이 가능함을 시사한다.
• 최적화 기반 융합 방식은 엔드 투 엔드 CNN 융합보다 略적으로 더 좋은 성능을 보였으며, RMS 오차는 0.715 vs. 0.719로 낮아졌고, 3D 투영의 정밀도도 향상되었다.
• 유사한 수치적 점수를 보일지라도, 제안된 방법은 눈에 띄게 더 정확하고 세밀한 3D 재구성을 생성하여 RMS 오차가 유일한 평가 지표로는 부적절함을 드러냈다.