[논문 리뷰] Geometry-Aware Symmetric Domain Adaptation for Monocular Depth Estimation

Shanshan Zhao, Huan Fu외 2명|arXiv (Cornell University)|2019. 04. 03.

Advanced Vision and Imaging참고 문헌 61인용 수 10

한 줄 요약

이 논문은 비디오 심도 레이블과 실제 스테레오 기하학을 동시에 활용하여 비지도 단안 심도 추정을 위한 종단간 프레임워크인 기하학 인식 대칭 도메인 적응(GASDA)을 제안한다. 양방향 이미지 스타일 변환을 적용하고 에피포라 제약 조건을 통해 기하학적 일관성을 강제함으로써, GASDA는 KITTI에서 최고 수준의 성능을 달성하고 Make3D에서 강력한 일반화 성능을 보였다. 특히, 미세조정 없이도 성능을 발휘했다.

ABSTRACT

Supervised depth estimation has achieved high accuracy due to the advanced deep network architectures. Since the groundtruth depth labels are hard to obtain, recent methods try to learn depth estimation networks in an unsupervised way by exploring unsupervised cues, which are effective but less reliable than true labels. An emerging way to resolve this dilemma is to transfer knowledge from synthetic images with ground truth depth via domain adaptation techniques. However, these approaches overlook specific geometric structure of the natural images in the target domain (i.e., real data), which is important for high-performing depth prediction. Motivated by the observation, we propose a geometry-aware symmetric domain adaptation framework (GASDA) to explore the labels in the synthetic data and epipolar geometry in the real data jointly. Moreover, by training two image style translators and depth estimators symmetrically in an end-to-end network, our model achieves better image style transfer and generates high-quality depth maps. The experimental results demonstrate the effectiveness of our proposed method and comparable performance against the state-of-the-art. Code will be publicly available at: https://github.com/sshan-zhao/GASDA.

연구 동기 및 목표

• 단안 심도 추정에서 합성 이미지와 실제 이미지 간의 도메인 차이를 해결하기 위해.
• 합성 데이터로부터의 진짜 심도 레이블과 실제 스테레오 쌍에서의 에피포라 기하학을 함께 활용하여 심도 예측 성능을 향상시키기 위해.
• 스타일 전환 중 기하학적 일관성을 강제하여 이미지 변환 아티팩트를 줄이기 위해.
• 종단간 방식으로 이미지 변환기와 심도 추정기의 대칭 학습을 통해 도메인 적응을 향상시키기 위해.
• 실제 심도 레이블이 필요 없이 고품질의 심도 맵을 생성하기 위해.

제안 방법

• 합성 → 실제 및 실제 → 합성 방향의 두 개의 이미지 스타일 변환기로 구성된 대칭 도메인 적응 프레임워크를 제안한다.
• 실제 스테레오 이미지 쌍에서 유도된 에피포라 기하학을 기반으로 한 기하학적 일관성 손실을 통합하여 구조적 무결성을 유지한다.
• 스타일 변환기와 함께 종단간으로 심도 추정기를 학습함으로써, 심도 일관성 손실을 통한 상호 감독을 가능하게 한다.
• 적대적 학습과 사이클 일관성 손실을 활용하여 이미지 변환 품질을 향상시키면서도 의미적 및 기하학적 내용을 유지한다.
• 공동 최적화 과정에서 합성 도메인에서는 진짜 심도 감독을, 실제 도메인에서는 기하학적 제약 조건을 활용한다.
• 공유된 특징 학습을 통해 스타일 전환과 심도 추정을 번갈아 최적화하는 통합 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 합성 심도 감독과 실제 스테레오 기하학을 융합하면 비지도 단안 심도 추정 성능이 향상되는가?
• RQ2 이미지 변환 과정에서 에피포라 기하학을 강제하면 심도 예측 품질에 어떤 영향을 미치는가?
• RQ3 양방향 스타일 전환을 통한 대칭 도메인 적응은 단방향 접근보다 더 나은 일반화 성능을 보이는가?
• RQ4 스타일 전환과 심도 추정의 종단간 공동 학습이 성능 향상에 얼마나 기여하는가?
• RQ5 모델은 미세조정 없이도 Make3D와 같은 새로운 데이터셋에 일반화 가능한가?

주요 결과

• GASDA는 KITTI 스테레오 2015 벤치마크에서 기존 도메인 적응 방법들을 능가하는 최고 수준의 성능을 달성했다.
• 모델은 미세조정 없이도 Make3D에 대해 잘 일반화되어 경쟁적인 성능을 기록했다.
• 기하학적 일관성 손실이 성능 향상에 크게 기여하였으며, SYN2REAL-GC-E2E는 SYN2REAL-E2E보다 큰 격차로 슈퍼리어한 성능을 보였다.
• 대칭 학습(GASDA)은 KITTI에서 절대 오차(abs rel) 기준 기준 모델 대비 1.5–2.0% 향상되었다.
• 절단 분석 결과, 심도 일관성 손실이 스타일 전환과 심도 추정 품질을 모두 향상시킨다는 것이 확인되었다.
• 시각적 결과에서 GASDA는 경쟁 기법들보다 먼 곳의 차량이나 난간과 같은 세부 정보를 더 잘 유지하는 것으로 나타났다.