[논문 리뷰] Regularizing Nighttime Weirdness: Efficient Self-supervised Monocular Depth Estimation in the Dark

Kun Wang, Zhenyu Zhang외 5명|arXiv (Cornell University)|2021. 08. 09.

Advanced Vision and Imaging참고 문헌 54인용 수 5

한 줄 요약

이 논문은 야간 조건을 고려한 자기지도 학습 단안 깊이 추정 프레임워크를 제안하며, 쌍방향이 아닌 깊이 분포를 사용하여 훈련을 안정화시키는 우선순위 기반 정규화, 밝기 일관성을 해치지 않으면서도 가시성을 향상시키는 매핑 일관성 있는 이미지 강화, 그리고 무늬 없는 영역을 동적으로 처리하는 통계 기반 마스킹을 도입한다. 이 방법은 두 개의 야간 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 구멍과 부드럽지 못한 표면 등의 깊이 맵 잡음 요소를 크게 감소시킨다.

ABSTRACT

Monocular depth estimation aims at predicting depth from a single image or video. Recently, self-supervised methods draw much attention since they are free of depth annotations and achieve impressive performance on several daytime benchmarks. However, they produce weird outputs in more challenging nighttime scenarios because of low visibility and varying illuminations, which bring weak textures and break brightness-consistency assumption, respectively. To address these problems, in this paper we propose a novel framework with several improvements: (1) we introduce Priors-Based Regularization to learn distribution knowledge from unpaired depth maps and prevent model from being incorrectly trained; (2) we leverage Mapping-Consistent Image Enhancement module to enhance image visibility and contrast while maintaining brightness consistency; and (3) we present Statistics-Based Mask strategy to tune the number of removed pixels within textureless regions, using dynamic statistics. Experimental results demonstrate the effectiveness of each component. Meanwhile, our framework achieves remarkable improvements and state-of-the-art results on two nighttime datasets.

연구 동기 및 목표

• 낮은 가시성과 다양한 조명 조건으로 인해 기존 자기지도 학습 깊이 모델이 야간 환경에서 실패하는 문제를 해결한다.
• 자기지도 학습 훈련의 광학 일관성 가정을 깨뜨리는 텍스처가 없는 영역과 밝기 일관성의 결여를 극복한다.
• 정답 깊이 데이터에 의존하지 않고 어두운, 저가시성 환경에서도 깊이 추정의 강건성을 향상시킨다.
• 영상 기하학적 일관성을 유지하면서 이미지 품질을 향상시켜 더 나은 지도를 제공하는 프레임워크를 개발한다.

제안 방법

• 쌍방향 참조에서 얻은 깊이 분포를 적대적 훈련을 통해 학습하는 우선순위 기반 정규화(PBR)를 도입하며, 2차원 좌표를 입력으로 사용해 공간적으로 인식 가능한 정규화를 유도한다.
• 영상 프레임 간 밝기 일관성을 유지하면서도 저조도 영역의 대비와 가시성을 향상시키는 매핑 일관성 있는 이미지 강화(MCIE)를 제안한다.
• 실시간 통계를 사용해 텍스처가 없는 영역에서 마스킹할 픽셀 수를 동적으로 조절하는 통계 기반 마스킹(SBM)을 설계하여 고정 임계값보다 강건성을 향상시킨다.
• PBR, MCIE, SBM을 종합하여 종단 간 자기지도 프레임워크를 구성하며, 정답 깊이 지도 없이 영상 기하학적 특성을 활용해 깊이 예측을 수행한다.
• PBR에서 좌표 이미지 $I_p$를 사용해 공간 우선순위를 모델링함으로써 정위치 정확도를 향상시키고 훈련의 불안정성을 감소시킨다.
• MCIE가 입력 프레임을 강화하고, SBM이 텍스처가 없는 영역을 마스킹하며, PBR이 학습된 우선순위를 사용해 깊이 예측을 정규화하는 다단계 훈련 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 야간 환경에서 낮은 가시성과 텍스처가 없는 영역에 대해 자기지도 학습 깊이 추정을 어떻게 강건하게 만들 수 있는가?
• RQ2 쌍방향 참조에서 유도한 우선순위 깊이 분포가 훈련 안정성과 깊이 품질 향상에 얼마나 기여하는가?
• RQ3 영상 간 일관성 있는 이미지 강화가 자기지도 학습 깊이 추정에서 광학 일관성을 유지하는 데 얼마나 효과적인가?
• RQ4 무늬 없는 영역에서 마스킹할 픽셀 수를 어떻게 적응적으로 제어할 수 있는가? 이는 깊이 모호성을 줄이는 데 기여하는가?
• RQ5 정규화, 강화, 동적 마스킹을 조합하면 야간 깊이 추정 기준 데이터셋에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 전체 방법은 RobotCar-Night에서 상대적 절대 오차(Abs Rel) 0.121을 달성하여, MonoDepth2의 0.400 대비 70% 감소한 성능을 보이며 뚜렷한 향상을 입증한다.
• nuScenes-Night에서 Abs Rel은 MonoDepth2의 1.185에서 0.315로 감소하여 73.4% 향상되었고, Sq Rel은 기준 모델 대비 91.2% 감소하였다.
• Priors-Based Regularization(PBR)만으로도 RobotCar-Night에서 Sq Rel을 92.8% 감소시키고, nuScenes-Night에서는 90.2% 감소시켜 훈련 안정성에 미치는 강력한 영향을 입증한다.
• PBR에 좌표 이미지 $I_p$를 포함시킴으로써 RobotCar-Night에서 Sq Rel이 11.6% 향상되고, nuScenes-Night에서는 15.1% 향상되어 공간 우선순위의 중요성을 확인한다.
• 제거 실험 결과, PBR, MCIE, SBM 모두 독립적으로 기여하며 누적 효과를 보이며, 전체 모델이 각 변형보다 뛰어난 성능을 보였다.
• 정성적 결과에서는 어두운 영역 및 깜빡임이 있는 조명 영역에서도 더 선명하고 정확한 깊이 맵을 제공하며, 구멍이 적고 예측이 더 매끄럽다는 점을 확인할 수 있었다.