[논문 리뷰] OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas

Nikolaos Zioulis, Antonis Karakottas외 2명|arXiv (Cornell University)|2018. 07. 25.

Advanced Vision and Imaging인용 수 26

한 줄 요약

이 논문은 360° 등방위 이미지에서 직접 밀도 높은 깊이 추정을 위한 엔드 투 엔드 딥 러닝 프레임워크인 OmniDepth를 제안한다. 기존의 3D 실내 환경 데이터셋에서 대규모 360° 데이터셋을 합성함으로써, 2D 투영 이미지에서 훈련된 단안 깊이 모델을 등방위 입력에 적용하는 것과 비교해 뛰어난 깊이 예측 성능를 달성하며, 구면 파ano라마에 특화된 훈련의 필요성을 입증한다.

ABSTRACT

Recent work on depth estimation up to now has only focused on projective images ignoring 360 content which is now increasingly and more easily produced. We show that monocular depth estimation models trained on traditional images produce sub-optimal results on omnidirectional images, showcasing the need for training directly on 360 datasets, which however, are hard to acquire. In this work, we circumvent the challenges associated with acquiring high quality 360 datasets with ground truth depth annotations, by re-using recently released large scale 3D datasets and re-purposing them to 360 via rendering. This dataset, which is considerably larger than similar projective datasets, is publicly offered to the community to enable future research in this direction. We use this dataset to learn in an end-to-end fashion the task of depth estimation from 360 images. We show promising results in our synthesized data as well as in unseen realistic images.

연구 동기 및 목표

• 기존의 3D 실내 데이터셋에서 대규모 합성 360° 데이터셋을 생성함으로써 360° 깊이 추정을 위한 감독 훈련 데이터의 부족을 해결한다.
• 등방위 파노라마 이미지에서 엔드 투 엔드 깊이 추정을 위해 특별히 설계된 딥 러닝 모델을 개발한다.
• 2D 투영 이미지에서 훈련된 단안 깊이 모델이 360° 등방위 입력에 직접 적용되었을 때 성능이 열 劣하다는 것을 입증함으로써, 구면 파노라마에 특화된 훈련의 필요성을 강조한다.
• 제안된 방법의 효과성을 합성 데이터와 실제 세계의 미사용 360° 이미지(예: Sun360 데이터셋)에서 모두 검증한다.

제안 방법

• ScanNet 및 Matterport3D와 같은 기존 3D 실내 데이터셋에서 렌더링하여 360° 등방위 이미지와 해당하는 진짜 깊이 맵을 생성한다.
• 등방위 이미지를 처리하고 밀도 높은 깊이 맵을 예측하기 위해 특별히 설계된 커스텀 CNN 오토인코더 아키텍처인 RectNet을 제안한다.
• 예측된 깊이 맵과 진짜 깊이 맵 간의 평균 절대 오차(MAE) 손실을 사용해 지도 학습 방식으로 모델을 훈련시킨다.
• 일반화 및 강인성을 향상시키기 위해 다양한 카메라 시점과 조명 조건을 활용해 훈련 데이터를 증강한다.
• 정량적 지표로는 RMSE, MAE, δ 임계값을 사용해 합성 360° 데이터셋과 실제 세계의 Sun360 데이터셋에서 프레임워크를 평가한다.
• 비교를 위해 단안 깊이 모델(Laina et al. 등)을 등방위 이미지와 동일한 이미지의 큐브 매핑 투영에 적용하고, 평가를 위해 다시 등방위 형식으로 병합한 결과를 사용한다.

실험 결과

연구 질문

• RQ1 360° 등방위 이미지에서 직접 훈련된 딥 러닝 모델이 적응된 단안 깊이 모델보다 성능이 뛰어나게 되는가?
• RQ2 2D 투영 이미지에서 훈련된 모델과 360° 구면 데이터에서 훈련된 모델이 등방위 입력에 적용되었을 때의 성능 격차는 얼마나 되는가?
• RQ3 기존의 3D 실내 데이터셋에서 유도된 합성 360° 데이터셋이 깊이 추정 모델 훈련에 얼마나 효과적인가?
• RQ4 진짜 깊이 맵이 없는 실제 세계의 미사용 360° 파노라마에 대해 360° 모델이 얼마나 잘 일반화되는가?
• RQ5 2D 이미지의 국소적 시야와 비교해 360° 이미지의 전역적 맥락이 깊이 추론에 얼마나 기여하는가?

주요 결과

• 제안된 RectNet 모델은 등방위 입력에 적응된 단안 모델보다 유의미하게 뛰어난 정량적 성능를 보이며, 합성 테스트 세트에서 RMSE가 23.5% 낮게 나타났다.
• RectNet 모델은 합성 360° 데이터셋에서 테스트 세트 RMSE 0.185, MAE 0.112를 기록했으며, 모든 기준 단안 모델을 능가했다.
• 실제 세계의 Sun360 데이터셋에서 평가했을 때, RectNet 모델은 타당한 깊이 예측 결과를 도출했으며, Laina et al.의 모델만이 유사한 정성적 성능를 보였다.
• 단안 모델에 대한 큐브 매핑 접근법은 면 간 깊이 스케일의 일관성 없음을 야기했으며, 각 면에 대해 중앙값 스케일링을 적용한 후에도 여전히 제안된 RectNet 모델에 열 劣했다.
• 합성 360° 데이터셋에서 훈련된 모델은 실제 세계의 미사용 360° 파노라마로의 일반화가 잘 되어 있어 도메인 이동에 대한 강인성을 보였다.
• 제거 실험 결과, 기하학적 왜곡과 전역적 맥락 이해 부족으로 인해 2D에서 훈련된 모델을 등방위 입력에 그대로 이식하는 것은 최적의 결과를 도출하지 못하므로, 360° 도메인에서 직접 훈련하는 것이 필수적임을 확인했다.