[논문 리뷰] Unsupervised Monocular Depth Estimation in Highly Complex Environments

Chaoqiang Zhao, Yang Tang외 1명|arXiv (Cornell University)|2021. 07. 28.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 야간 및 비가 올 때 어두운 환경과 같이 광학적 일관성이 깨지는 매우 복잡한 환경에서 단안 영상 간의 도메인 간섭을 위한 비지도 이미지-이미지 도메인 적응 프레임워크인 ITDFA를 제안한다. 특징 공간과 출력 공간에 대한 동시 제약을 적용하고 이미지 품질 인식 손실 재가중 메커니즘을 통합함으로써, 지도 학습 없이도 상태 기반 성능을 달성하며, 낮은 조도 및 비 오는 조건에서 깊이 추정 정확도를 크게 향상시킨다.

ABSTRACT

With the development of computational intelligence algorithms, unsupervised monocular depth and pose estimation framework, which is driven by warped photometric consistency, has shown great performance in the daytime scenario. While in some challenging environments, like night and rainy night, the essential photometric consistency hypothesis is untenable because of the complex lighting and reflection, so that the above unsupervised framework cannot be directly applied to these complex scenarios. In this paper, we investigate the problem of unsupervised monocular depth estimation in highly complex scenarios and address this challenging problem by adopting an image transfer-based domain adaptation framework. We adapt the depth model trained on day-time scenarios to be applicable to night-time scenarios, and constraints on both feature space and output space promote the framework to learn the key features for depth decoding. Meanwhile, we further tackle the effects of unstable image transfer quality on domain adaptation, and an image adaptation approach is proposed to evaluate the quality of transferred images and re-weight the corresponding losses, so as to improve the performance of the adapted depth model. Extensive experiments show the effectiveness of the proposed unsupervised framework in estimating the dense depth map from highly complex images.

연구 동기 및 목표

• 광학적 일관성이 깨지는 야간 및 비 오는 야간과 같은 복잡한 환경에서 비지도 단안 깊이 추정의 실패 문제를 해결한다.
• 동적인 조명 조건과 낮은 조도 조건에서 실패하는 광학적 일관성에 의존하는 기존 비지도 프레임워크의 한계를 극복한다.
• 지상 진술을 사용하지 않고도 낮 시간대의 모델을 야간 및 비 오는 야간 환경으로 깊이 지식을 전달하는 도메인 간섭 프레임워크를 개발한다.
• 이식된 이미지 품질의 불안정성으로 인한 도메인 간섭의 영향을 줄이기 위해 품질 인식 손실 재가중 메커니즘을 도입하여 강건성을 향상시킨다.
• 장르별 인코더를 사용하는 공유 디코더를 통해 다양한 환경 조건에서 실용적인 단안 깊이 모델의 구현을 가능하게 한다.

제안 방법

• 도메인 간섭을 위해 이미지-이미지 변환 네트워크를 사용하여 사전 학습된 낮 시간대 깊이 모델을 야간 및 비 오는 야간 환경에 적응시킨다.
• 특징 공간(특징 수준의 일관성 손실을 통해)과 출력 공간(깊이 예측 일관성 손실을 통해)에 대한 동시 제약을 적용하여 도메인 간 표현을 정렬한다.
• 이식된 이미지의 신뢰성을 평가하고 광학적 손실을 동적으로 재가중하여 열악한 번역으로 인한 노이즈를 줄이기 위해 품질 인식 이미지 적응 모듈을 도입한다.
• 큰 도메인 갭을 메우기 위해 이중 단계 적응 전략(낮 → 야간 → 비 오는 야간)을 사용하여 매우 도전적인 시나리오에서 성능을 향상시킨다.
• 모든 프레임워크를 완전히 비지도 방식으로 학습시켜, 쌍화된 이미지나 지상 진술 깊이 레이블 없이도 단안 영상 시퀀스와 카메라 파라미터에만 의존한다.
• 모든 적응 모델에서 공유 디코더를 사용하여 다양한 기상 조건과 조명 조건에서 자율 주행 시스템 내에서 효율적인 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 광학적 일관성이 실패하는 야간 및 비 오는 야간과 같은 매우 복잡한 환경으로 비지도 단안 깊이 추정을 효과적으로 확장할 수 있는가?
• RQ2 지상 진술 없이도 도메인 간섭을 통해 낮 시간대에서 야간 환경으로 깊이 지식을 전달할 수 있는가?
• RQ3 특징 공간과 출력 공간에 대한 제약은 깊이 추정을 위한 도메인 간섭 성능 향상에 어떤 역할을 하는가?
• RQ4 이미지 이식 품질의 불안정성은 도메인 간섭에 어떤 영향을 미치며, 동적 손실 재가중을 통해 이를 완화할 수 있는가?
• RQ5 다중 단계 도메인 간섭(예: 낮 → 야간 → 비 오는 야간)은 큰 도메인 갭이 있는 시나리오에서 성능을 향상시키는가?

주요 결과

• 제안된 ITDFA 프레임워크는 monodepth2와 같은 최신 비지도 방법보다 야간 환경에서 뛰어난 깊이 추정 성능을 달성한다.
• 더 도전적인 비 오는 야간 시나리오에서는 monodepth2와 직접 낮에서 비 오는 야간으로 적응시킨 도메인 간섭 모델을 모두 능가하며, 강건성을 입증한다.
• 이중 단계 적응 전략(ITDFA d2n2r)은 직접 적응(ITDFA d2r)보다 더 뛰어난 성능을 보이며, 다중 단계 적응이 큰 도메인 갭을 효과적으로 메운다는 것을 확인한다.
• 특징 공간과 출력 공간에 대한 동시 제약는 각각의 제약만을 사용할 때보다 더 나은 성능을 내며, 특히 출력 공간 제약이 인코더 학습을 이끄는 데 매우 효과적임을 입증한다.
• 이식된 이미지 품질에 기반해 손실을 재가중하는 이미지 적응 방법은 깊이 추정 정확도를 크게 향상시키고 오차를 감소시키며, 특히 저조도 및 반사 조건에서 두드러진다.
• 공유 디코더를 사용하여 다양한 환경에서 높은 성능을 유지함으로써, 기상 조건과 조명 조건이 다양하게 변하는 환경에서 자율 주행 시스템 내에서 실용적인 구현이 가능하다.