[논문 리뷰] Learning Monocular Depth by Distilling Cross-domain Stereo Networks

Xiaoyang Guo, Hongsheng Li외 3명|arXiv (Cornell University)|2018. 08. 20.

Advanced Vision and Imaging참고 문헌 4인용 수 35

한 줄 요약

이 논문은 합성 데이터에서 사전 훈련된 교차 도메인 스테레오 매칭 네트워크로부터 지식을 흡수하여 단안 깊이 추정 네트워크를 지도하는 새로운 프레임워크를 제안한다. 이는 합성 데이터와 실세계 데이터 간의 도메인 갭을 효과적으로 줄이며, KITTI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 스테레오 네트워크를 프록시로 활용하고, 오clusion 처리 및 경계 선명도를 향상시키는 비지도 미세조정 전략을 도입함으로써 달성된다.

ABSTRACT

Monocular depth estimation aims at estimating a pixelwise depth map for a single image, which has wide applications in scene understanding and autonomous driving. Existing supervised and unsupervised methods face great challenges. Supervised methods require large amounts of depth measurement data, which are generally difficult to obtain, while unsupervised methods are usually limited in estimation accuracy. Synthetic data generated by graphics engines provide a possible solution for collecting large amounts of depth data. However, the large domain gaps between synthetic and realistic data make directly training with them challenging. In this paper, we propose to use the stereo matching network as a proxy to learn depth from synthetic data and use predicted stereo disparity maps for supervising the monocular depth estimation network. Cross-domain synthetic data could be fully utilized in this novel framework. Different strategies are proposed to ensure learned depth perception capability well transferred across different domains. Our extensive experiments show state-of-the-art results of monocular depth estimation on KITTI dataset.

연구 동기 및 목표

• 단안 깊이 추정에서 합성 데이터와 실세계 깊이 데이터 간의 도메인 갭을 해결한다.
• 비용이 많이 들는 진짜 깊이 지도(annotation)가 필요한 지도 학습 방법의 한계와 일반화 능력이 떨어지고 오clusion 오류가 발생하는 비지도 학습 방법의 문제점을 해결한다.
• 합성 데이터에서 훈련된 스테레오 매칭 네트워크의 강력한 일반화 능력을 활용하여 단안 깊이 학습을 이끌어내는 데 목적이 있다.
• 합성 데이터를 프록시로 사용하여 스테레오 네트워크에서 단안 네트워크로 깊이 인식 능력을 전이하는 지식 흡수 파이프라인을 개발한다.
• 실세계 벤치마크(예: KITTI)에서 성능을 향상시키기 위해 오clusion 처리 및 경계 보존 능력을 향상시키는 새로운 미세조정 전략을 도입한다.

제안 방법

• 합성 Scene Flow 데이터에서 스테레오 매칭 네트워크(DispNet 변종)를 훈련하여 시차 맵과 오clusion 마스크를 예측한다.
• 오clusion을 명시적으로 다루고 스무스니스 정규화를 향상시키는 새로운 비지도 손실 함수를 사용하여 실세계 KITTI 데이터에서 스테레오 네트워크를 미세조정한다.
• 미세조정된 스테레오 네트워크를 교사로 삼아 지식 흡수를 통해 단안 깊이 추정 네트워크를 지도한다.
• 스테레오 입력에 대해 자르기, 크기 조정 등의 데이터 증강 기법을 적용하여 견고성 향상 및 과적합 방지를 도모한다.
• 스테레오 네트워크의 노이즈가 많은 예측을 걸러내고 흡수 품질을 향상시키기 위해 신뢰도 기반의 지도 학습 메커니즘을 도입한다.
• 스테레오 네트워크로부터 흡수된 지도 정보를 사용하여 단안 깊이 네트워크를 엔드 투 엔드로 훈련함으로써 실세계 환경에 대한 강력한 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 합성 데이터에서 사전 훈련된 스테레오 매칭 네트워크가 실세계 시나리오에서 단안 깊이 추정을 지도하기 위한 효과적인 프록시가 될 수 있는가?
• RQ2 실제 깊이 지도(annotation)가 없이도 합성 데이터와 실세계 데이터 간의 도메인 갭을 효과적으로 완화할 수 있는가?
• RQ3 어떤 미세조정 전략이 오clusion 영역에서 특히 더 나은 일반화 능력과 선명한 예측을 가능하게 하는가?
• RQ4 합성 데이터에서 훈련된 스테레오 네트워크에서의 흡수 전략이 실세계 데이터에서 직접 훈련된 단안 네트워크보다 정확도 및 경계 보존 측면에서 우월한가?
• RQ5 제안된 파이프라인은 KITTI 외에도 Make3D 및 Cityscapes와 같은 다른 데이터셋으로도 일반화 가능한가? 최소한의 적응만으로도 가능한가?

주요 결과

• 제안된 방법은 KITTI 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였으며, Eigen 분할 기준으로 평균 절대 오차(Abs)는 0.061, 상대 오차(Rel)는 0.144를 기록하였다.
• 비지도 미세조정 전략이 오clusion 처리 및 경계 선명도를 크게 향상시켜, 정량적·정성적으로 이전의 비지도 방법들을 능가하였다.
• 실제 이미지 100장만으로도 지도 미세조정를 수행한 스테레오 모델(StereoSupFt100)이 비지도 미세조정 버전(StereoUnsupFt)을 능가하는 것으로 나타나, 미세조정의 효과성을 입증하였다.
• 흡수된 단안 깊이 모델(StereoUnsupFt→Mono)은 KITTI에서 평균 절대 오차 0.105, 상대 오차 0.189를 기록하여 이전의 SOTA 방법들을 초월하였다.
• 파이프라인은 다른 데이터셋으로도 잘 일반화된다: Make3D 및 Cityscapes에서도 경쟁 가능한 성능을 기록하여 도메인 간 전이 능력이 뛰어나다는 것을 보여주었다.
• PSMNet와 같은 더 고급 스테레오 네트워크를 프록시로 사용할 경우 성능 향상이 이루어지며, 이는 향후 스테레오 매칭 기술의 발전에도 쉽게 확장 가능함을 시사한다.