[논문 리뷰] MonSter: Awakening the Mono in Stereo

Yotam Gil, Shay Elmalem외 3명|arXiv (Cornell University)|2019. 10. 30.

Advanced Vision and Imaging참고 문헌 38인용 수 6

한 줄 요약

MonSter는 단일 렌즈 심도 추정과 단일 이미지 심도 추정을 융합하는 하이브리드 스테레오-단일 이미지 심도 추정 시스템을 제안한다. 위상 코딩된 조리개를 통해 추출한 스테레오 심도 지도와 딥 러닝 기반 단일 이미지 네트워크를 통해 생성한 단일 이미지 심도 지도를 융합함으로써, 두 심도 추정 간의 일관성을 강제함으로써 온라인 자기 캘리브레이션을 가능하게 하고, 심도 추정의 상대적 L1 손실을 10% 감소시켜 더 넓은 심도 범위에서 정확도를 향상시킨다.

ABSTRACT

Passive depth estimation is among the most long-studied fields in computer vision. The most common methods for passive depth estimation are either a stereo or a monocular system. Using the former requires an accurate calibration process, and has a limited effective range. The latter, which does not require extrinsic calibration but generally achieves inferior depth accuracy, can be tuned to achieve better results in part of the depth range. In this work, we suggest combining the two frameworks. We propose a two-camera system, in which the cameras are used jointly to extract a stereo depth and individually to provide a monocular depth from each camera. The combination of these depth maps leads to more accurate depth estimation. Moreover, enforcing consistency between the extracted maps leads to a novel online self-calibration strategy. We present a prototype camera that demonstrates the benefits of the proposed combination, for both self-calibration and depth reconstruction in real-world scenes.

연구 동기 및 목표

• 스테레오 시각의 한계, 즉 캘리브레이션 민감도와 근접 거리에서의 낮은 성능을 해결한다.
• 단일 이미지 심도 추정의 본질적인 심도 모호성과 노이즈를 스테레오 데이터와 융합함으로써 극복한다.
• 단일 이미지 심도를 일관된 기준으로 삼아 스테레오 카메라의 온라인 자기 캘리브레이션을 가능하게 한다.
• 스테레오와 단일 이미지 방법의 상호보완적인 강점을 융합하여 심도 추정의 유효 범위를 연장한다.
• 시뮬레이션 데이터로 훈련된 모델이 미세조정 없이도 실제 환경에 잘 일반화됨을 입증한다.

제안 방법

• 위상 코딩된 조리개를 사용하여 심도 정보를 광학 이미지에 통합한 카메라를 하나 장착한 이중 카메라 스테레오 시스템을 구현한다.
• 컨volutional 신경망(CNN)을 훈련시켜 위상 코딩된 이미지에서 심도를 추출함으로써 실제 단위를 사용한 절대 심도 추정을 가능하게 한다.
• 수정되지 않은 스테레오 이미지에 별도의 단일 이미지 심도 네트워크(예: DPT)를 적용하여 상대적 심도 지도를 생성한다.
• 이sovolumetric 투영 변환을 적용하여 왼쪽 이미지를 오른쪽 이미지와 정렬함으로써 스테레오 매칭을 가능하게 한다.
• 4층의 컨volutional 네트워크를 사용하여 스테레오 및 단일 이미지 심도 지도를 융합하고, 정확도 향상을 위해 최적의 픽셀 단위 가중치를 학습한다.
• 훈련 중에 스테레오 및 단일 이미지 심도 지도 간의 일관성을 강제하여 외부 캘리브레이션 패턴 없이도 온라인 자기 캘리브레이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 외부 캘리브레이션 패턴 없이 단일 이미지 심도 추정을 사용하여 스테레오 카메라의 온라인 자기 캘리브레이션을 가능하게 할 수 있는가?
• RQ2 스테레오 및 단일 이미지 심도 지도를 융합하면 다양한 심도 범위에서 심도 추정 정확도가 어떻게 향상되는가?
• RQ3 위상 코딩된 조리개 방법이 근접 거리에서 단일 이미지 심도 정확도를 얼마나 향상시키는가?
• RQ4 시뮬레이션 데이터로 훈련된 시스템이 미세조정 없이도 실제 환경의 심도 추정에 효과적으로 일반화될 수 있는가?
• RQ5 스테레오 및 단일 이미지 심도 지도의 융합이 각각의 단점을 보완하는가(예: 스테레오의 근접 거리 오차와 단일 이미지의 원거리 노이즈)?

주요 결과

• 지상 진실 데이터가 있는 시뮬레이션 데이터에서, 융합된 심도 지도가 스테레오 전용 추정 대비 상대적 L1 손실을 10% 향상시켰다.
• 근접 거리(심도 < 1m)에서는 단일 이미지 방법이 스테레오보다 우수했으며, 상대적 L1 손실이 각각 0.551과 0.071로 나타나 스테레오의 근접 거리 심도 추정 한계를 확인했다.
• 단일 이미지 방법은 근접 거리 영역(마스크 처리된 근접 거리 영역)에서 손실이 0.119로 우수했고, 중간~원거리에서는 스테레오가 더 우수한 성능을 보였다.
• 스테레오 및 단일 이미지 심도 지도 간의 일관성을 강제함으로써 온라인 자기 캘리브레이션을 달성하여 외부 캘리브레이션 패턴이 필요 없어졌다.
• 프로토타입은 실제 환경에서의 시각적 향상을 보였으며, 스테레오만으로는 음영이나 큰 이상차로 인해 놓쳤던 근접 물체(예: 스프레이 병)의 심도 세부 정보를 정확히 포착했다.
• 모델이 시뮬레이션 데이터로 훈련되었음에도 불구하고 실제 이미지에 대해 미세조정 없이도 강력한 성능을 보여, 실제 환경 데이터로의 일반화 능력이 뛰어나다는 것을 입증했다.