[논문 리뷰] High Quality Monocular Depth Estimation via Transfer Learning

Ibraheem Alhashim, Peter Wonka|arXiv (Cornell University)|2018. 12. 31.

Advanced Vision and Imaging참고 문헌 37인용 수 190

한 줄 요약

저자들은 사전 학습된 DenseNet-169 인코더와 경량 디코더를 사용하는 간단한 인코더–디코더 네트워크를 제안하여, 다중 항 손실과 표적 데이터 증강으로 학습된 고해상도 단안 깊이 맵의 충실도를 개선한다.

ABSTRACT

Accurate depth estimation from images is a fundamental task in many applications including scene understanding and reconstruction. Existing solutions for depth estimation often produce blurry approximations of low resolution. This paper presents a convolutional neural network for computing a high-resolution depth map given a single RGB image with the help of transfer learning. Following a standard encoder-decoder architecture, we leverage features extracted using high performing pre-trained networks when initializing our encoder along with augmentation and training strategies that lead to more accurate results. We show how, even for a very simple decoder, our method is able to achieve detailed high-resolution depth maps. Our network, with fewer parameters and training iterations, outperforms state-of-the-art on two datasets and also produces qualitatively better results that capture object boundaries more faithfully. Code and corresponding pre-trained weights are made publicly available.

연구 동기 및 목표

• 이미지 분류 인코더에서의 전이 학습이 더 고품질의 단안 깊이 맵을 생성할 수 있음을 보여준다.
• 간단한 디코더가 더 적은 매개변수와 반복으로 최첨단 성능을 달성할 수 있음을 보인다.
• 깊이 정확도를 유지하면서 경계 세부 정보를 보존하는 손실 함수를 제안한다.
• 학습 효율성과 일반화 성능을 향상시키는 데이터 증강 전략을 정의한다.
• 일반화 성능을 평가하기 위한 새로운 합성 실내 깊이 데이터셋(Unreal-1k)을 제공한다.

제안 방법

• 인코더: 사전 학습된 DenseNet-169 (ImageNet)를 깊이 추정을 위해 자르는 방식으로 축소.
• 디코더: 경량 업샘플링 블록과 스킵 연결, 배치 정규화 없음.
• 손실: L = lambda * L_depth + L_grad + L_SSIM, 여기서 lambda = 0.1이고 L_depth는 깊이 공간에서 L1; 깊이 값은 학습 안정화를 위해 역수 스케일링으로 변환된 상태.
• 데이터 증강: 수평 뒤집기를 확률 0.5로; 색 채널 순열을 확률 0.25로 적용.
• 학습 전략: ADAM으로 엔드 투 엔드 학습, NYU Depth v2에서 1M 반복, KITTI에서 300K 반복; 평가에 평균 제곱 오차 및 상대 오차 지표를 사용.
• 평가: NYU Depth v2, KITTI, Unreal-1k 데이터셋에서 정성적 및 정량적 평가.

실험 결과

연구 질문

• RQ1 이미지 분류 인코더에서의 전이 학습이 단안 깊이 추정의 품질을 향상시키는가?
• RQ2 강력한 인코더와 결합되었을 때 간단한 디코더가 더 복잡한 아키텍처를 능가할 수 있는가?
• RQ3 손실 설계와 증강 전략이 깊이 정확도와 경계 보전에 어떤 영향을 미치는가?
• RQ4 제안된 모델은 합성 실내 데이터셋(Unreal-1k) 및 교차 도메인 데이터에 얼마나 잘 일반화되는가?

주요 결과

• 대부분의 지표에서 NYU Depth v2에서 최첨단 성능을 달성하며, 매개변수는 약 42.6M으로 줄고 학습 반복 수도 1M으로 감소, 일부 기존 방법보다
• 이전 방법보다 물체 경계가 더 선명하고 인공물도 더 적은 깊이 맵을 생성한다.
• Unreal-1k 합성 실내 데이터셋에서 정량적(오차 감소) 및 정성적 지표 모두에서 우수하다.
• KITTI 데이터셋에서 표준 지표 기준으로 전체 2위인데, 지표는 매우 희박한 도 ground-truth 데이터로 인해 한계가 있지만 정성적 깊이 맵은 여전히 높은 품질이다.
• 분해 연구에서 색 채널 증강이 일반화 성능을 크게 향상시키고, 더 깊은 인코더는 매개변수 비용 증가에 비해 수익이 감소함을 보인다.