[논문 리뷰] DiPE: Deeper into Photometric Errors for Unsupervised Learning of Depth and Ego-motion from Monocular Videos

Hualie Jiang, Laiyan Ding외 2명|arXiv (Cornell University)|2020. 03. 03.

Advanced Vision and Imaging참고 문헌 36인용 수 6

한 줄 요약

이 논문은 단일 렌즈 영상에서 깊이 및 자율주행 차량의 자세를 추정하는 데 있어, 비정상적인 픽셀(가림 또는 비정적 움직임을 하는 픽셀)으로 인한 사진적 오차를 억제하기 위해 이상치 마스킹 기법을 도입함으로써, 특히 반대 방향으로 움직이는 물체에 대해 더 높은 내성성을 확보하는 새로운 비지도 단일 영상 깊이 및 자율주행 차량 자세 추정 프레임워크인 DiPE를 제안한다. 또한 깊이 맵의 잡음 문제를 줄이기 위해 효율적인 가중치가 부여된 다중 척도 기반 기법을 활용한다. 본 방법은 깊이 추정 및 자율주행 차량 자세 추정 모두에서 KITTI 벤치마크에서 최고 성능을 기록한다.

ABSTRACT

Unsupervised learning of depth and ego-motion from unlabelled monocular videos has recently drawn great attention, which avoids the use of expensive ground truth in the supervised one. It achieves this by using the photometric errors between the target view and the synthesized views from its adjacent source views as the loss. Despite significant progress, the learning still suffers from occlusion and scene dynamics. This paper shows that carefully manipulating photometric errors can tackle these difficulties better. The primary improvement is achieved by a statistical technique that can mask out the invisible or nonstationary pixels in the photometric error map and thus prevents misleading the networks. With this outlier masking approach, the depth of objects moving in the opposite direction to the camera can be estimated more accurately. To the best of our knowledge, such scenarios have not been seriously considered in the previous works, even though they pose a higher risk in applications like autonomous driving. We also propose an efficient weighted multi-scale scheme to reduce the artifacts in the predicted depth maps. Extensive experiments on the KITTI dataset show the effectiveness of the proposed approaches. The overall system achieves state-of-theart performance on both depth and ego-motion estimation.

연구 동기 및 목표

• 비지도 단일 영상 깊이 학습에서 반대 방향으로 움직이는 물체에 대해 정확도가 떨어지는 깊이 추정 문제를 해결하기 위해.
• 비지도 깊이 추정에서 다중 척도 학습으로 인해 발생하는 예측 깊이 맵의 잡음 문제를 줄이기 위해.
• 사진적 오차 감독을 개선함으로써 가림 및 환경의 동적 변화에 대한 내성성을 향상시키기 위해.
• 복잡한 모듈을 추가하지 않으면서도 성능을 향상시킬 수 있는 단순하면서도 효과적인 프레임워크를 개발하기 위해.
• 깊이 및 자율주행 차량 자세 추정 모두에서 KITTI 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 오차 크기의 통계 분석을 통해 가림되거나 비정적 움직임을 하는 픽셀에서 발생하는 사진적 오차를 식별하고 억제하는 이상치 마스킹 기법을 도입한다.
• 역전파 전에 이상치 마스크를 사진적 오차 맵에 적용하여, 동적 또는 보이지 않는 영역에서 유도되는 오해를 유발하는 기울기를 방지한다.
• 다중 척도 감독 신호에 적응형 가중치를 할당하여 깊이 예측에서 발생하는 잡음 문제를 줄이기 위한 가중치가 부여된 다중 척도 기법을 제안한다.
• 깊이 예측에는 표준 U-Net을, 자율주행 차량 자세 추정에는 CNN을 사용하며, 기울기 가능한 영상 와핑 기법을 활용해 원천 뷰에서 목표 뷰를 합성한다.
• 표준 비지도 학습 프레임워크 내에서 이상치 마스킹과 가중치가 부여된 다중 척도 기법을 통합하고, 사진적 일致성 손실을 감독 신호로 사용한다.
• 기존의 마스킹 기법(원칙 기반, 자동 마스킹, 최소 재투영 오차 기반)을 활용한 단순 기준 모델을 제안하고, 두 가지 제안된 구성 요소로 이를 향상시킨다.

실험 결과

연구 질문

• RQ1 비지도 단일 영상 학습에서 가림되거나 비정적 움직임을 하는 픽셀에서 발생하는 사진적 오차를 효과적으로 걸러내어 깊이 추정 성능을 향상시킬 수 있는가?
• RQ2 반대 방향으로 움직이는 물체는 깊이 추정에 어떤 영향을 미치며, 비지도 프레임워크에서 이를 더 잘 다룰 수 있는가?
• RQ3 가벼운 모듈식 접근 방식이 복잡한 보조 모듈을 추가하지 않더라도 깊이 맵 품질을 향상시킬 수 있는가?
• RQ4 이상치 마스킹과 가중치가 부여된 다중 척도 학습의 통합이 잡음 감소 및 종합 성능 향상에 어떤 영향을 미치는가?
• RQ5 이러한 기법들이 KITTI와 같은 표준 벤치마크에서 최고 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 제안된 이상치 마스킹 기법은 반대 방향으로 움직이는 물체(예: 만남 차량)에 대해 깊이 과소추정 문제를 크게 감소시켜 이전 방법에서 자주 발생하던 오류를 개선한다.
• 가중치가 부여된 다중 척도 기법은 깊이 맵의 잡음 문제를 효과적으로 줄이며, 원본 논문에서 보고된 실패 케이스를 Monodepth2보다 더 잘 처리한다.
• 이상치 마스킹과 가중치가 부여된 다중 척도 기법의 조합은 개별 기법의 기여도 합을 초월하는 성능 향상을 보이며, 강력한 상호보완 효과를 입증한다.
• DiPE는 KITTI 깊이 추정 벤치마크에서 최고 성능을 기록하여 이전의 비지도 방법들보다 깊이 및 자율주행 차량 자세 추정 모두에서 뛰어난 성능을 보인다.
• KITTI 오도메트리 스플릿에서, 5프레임 입력 시 시퀀스 09의 평균 절대 궤적 오차(Absolute Trajectory Error, ATE)는 0.012 ± 0.006 m이며, 시퀀스 10은 0.012 ± 0.008 m를 기록하여 기존 최고 성능 모델과 동등하거나 이를 초월한다.
• DiPE는 2-, 3-, 5프레임 운동 네트워크 등 다양한 입력 설정에서도 뛰어난 내성성을 보이며, 정확도에 심각한 저하 없이 일관된 성능을 유지한다.