[논문 리뷰] When the Sun Goes Down: Repairing Photometric Losses for All-Day Depth Estimation

Madhu Vankadari, Stuart Golodetz외 4명|arXiv (Cornell University)|2022. 06. 28.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 옥스포드 로봇카 데이터셋에서 일상 전반의 조건에서 정확한 깊이 추정을 달성하기 위해 단일 통합 모델을 사용하여 일광 및 야간 조건 모두에서 효과적으로 작동하도록 광학적 손실을 확장하는 자기지도 학습 단안 깊이 추정 방법을 제안한다. 이는 동적인 조명 조건을 보완하기 위해 픽셀 단위 신경 강도 변환, 운동 및 망막을 다루기 위한 잔차 흐름 맵, 그리고 이미지 노이즈 제거를 포함한다.

ABSTRACT

Self-supervised deep learning methods for joint depth and ego-motion estimation can yield accurate trajectories without needing ground-truth training data. However, as they typically use photometric losses, their performance can degrade significantly when the assumptions these losses make (e.g. temporal illumination consistency, a static scene, and the absence of noise and occlusions) are violated. This limits their use for e.g. nighttime sequences, which tend to contain many point light sources (including on dynamic objects) and low signal-to-noise ratio (SNR) in darker image regions. In this paper, we show how to use a combination of three techniques to allow the existing photometric losses to work for both day and nighttime images. First, we introduce a per-pixel neural intensity transformation to compensate for the light changes that occur between successive frames. Second, we predict a per-pixel residual flow map that we use to correct the reprojection correspondences induced by the estimated ego-motion and depth from the networks. And third, we denoise the training images to improve the robustness and accuracy of our approach. These changes allow us to train a single model for both day and nighttime images without needing separate encoders or extra feature networks like existing methods. We perform extensive experiments and ablation studies on the challenging Oxford RobotCar dataset to demonstrate the efficacy of our approach for both day and nighttime sequences.

연구 동기 및 목표

• 야간 조건에서 동적인 조명, 운동 블러, 낮은 신호 대 노이즈비로 인한 광학적 손실 기반 깊이 추정의 성능 저하 문제를 해결하기 위해.
• 일반적인 광학적 손실이 정적 장면, 시간에 따른 조명 일관성, 노이즈 없는 이미지를 가정하는 데서 비롯되는 제약을 극복하기 위해.
• 일부 특수화된 인코더나 특징 네트워크 없이도 낮과 야간 모두에서 우수한 성능을 내는 통합 모델을 개발하기 위해.
• 학습 가능한 강도 보정과 운동 보정을 통해 저조도 환경에서 점광원(예: 헤드라이트)과 운동 블러에 대한 강건성을 향상시키기 위해.

제안 방법

• 이동하는 차량 헤드라이트와 같은 동적인 점광원으로 인한 시간에 따라 변화하는 조도 변화를 보완하기 위해 픽셀 단위의 신경 강도 변환을 도입하여 학습한다.
• 자기 운동과 깊이 추정 오차로 인한 재투영 불일치를 보정하기 위해 픽셀 단위의 잔차 흐름 맵을 예측한다. 특히 운동 블러나 망막이 발생하는 영역에서 유용하다.
• 저신호 대 노이즈비의 야간 영역에서 노이즈가 많고 시야가 떨어지는 조건에서도 강건성을 향상시키기 위해 학습 중에 이미지 노이즈 제거를 적용한다.
• 조명 변화를 모델링하기 위해 스케일 및 시프트 아핀 변환 (C_t^* ⊙ I'_t) 을 사용하여 픽셀 단위의 강도 보정이 가능하게 하며, 간단한 스케일링보다 우수한 성능을 발휘한다.
• 낮과 야간 시퀀스 모두에 동일한 공유 인코더 및 디코더 아키텍처를 사용하여 별도의 네트워크나 다중 분기 설계가 필요 없도록 한다.
• 조명 보정의 이론적 기반을 확보하기 위해 폭의 조명 모델을 활용하여, 변화하는 빛의 위치와 밝기를 고려한 픽셀 단위의 강도 스케일링 요소를 추정하는 문제로 재정의한다.

실험 결과

연구 질문

• RQ1 이동하는 차량 헤드라이트와 도로등과 같은 원인으로 발생하는 야간 장면에서의 동적인 조명 변화에 대해 광학적 손실 기반 깊이 추정이 강건하게 작동할 수 있는가?
• RQ2 저조도 조건에서의 운동 블러와 망막을 효과적으로 보정하여 깊이 추정 정확도를 유지할 수 있는가?
• RQ3 광학적 손실로 훈련된 단일 통합 모델이 아키텍처 전용 설계 없이 낮과 야간 시퀀스 모두에 일반화될 수 있는가?
• RQ4 비균일한 조명과 높은 노이즈가 있는 영역에서 픽셀 단위의 강도 변환은 깊이 추정 성능을 얼마나 향상시키는가?
• RQ5 잔차 흐름 맵의 추가로 운동 파라랄랙스와 동적 물체가 존재하는 상황에서 재투영 정확도가 상당히 향상되는가?

주요 결과

• 제안된 방법은 옥스포드 로봇카 데이터셋에서 낮과 야간 시퀀스 모두에서 최신 기준 성능을 달성하였으며, 특히 저조도 조건에서 기준 광학적 손실 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 픽셀 단위의 신경 강도 변환은 특히 자동차 헤드라이트에 의해 조명되는 근접 영역에서 발생하는 깊이 오차를 효과적으로 감소시켰다.
• 잔차 흐름 맵은 운동 블러와 망막이 발생하는 영역에서 깊이 추정 정확도를 향상시켰으며, 특히 고파라랄랙스 영역에서 두드러진 효과를 보였다.
• 강도 보정, 운동 보정, 노이즈 제거의 조합으로 인해 표준 Monodepth2 대비 야간 시퀀스에서 깊이 정확도가 20~30% 향상되었다.
• 스케일 및 시프트 강도 모델은 스케일 전용 모델보다 뚜렷한 성능 향상을 보였으며, 특히 차량 헤드라이트 아래의 무문자 영역과 같은 비균일 조도 영역에서 유의미한 개선을 이뤘다.
• 제거 분석 결과, 강도 변환, 잔차 흐름, 노이즈 제거의 세 가지 구성 요소가 모두 전반적인 강건한 24시간 성능을 확보하는 데 필수적이며, 각각 독립적으로 최종 정확도 향상에 기여하고 있음을 확인했다.