[논문 리뷰] Robustness Meets Deep Learning: An End-to-End Hybrid Pipeline for Unsupervised Learning of Egomotion

Alex Zihao Zhu, Wenxin Liu외 3명|arXiv (Cornell University)|2018. 12. 20.

Advanced Vision and Imaging참고 문헌 33인용 수 14

한 줄 요약

이 논문은 단일 카메라에서 안정적으로 자동차 운동을 추정하기 위해 딥러닝과 기하 최적화를 융합한 엔드 투 엔드 비지도 학습 하이브리드 파이프라인을 제안한다. 신경망이 예측한 광학 흐름과 심도를 바탕으로 RANSAC을 적용하여 내측점 대응을 추출하고, 이를 통해 카메라 자세를 추정하며, 사진적 일致성 손실을 통해 정밀도를 향상시킨다. 이로 인해 KITTI에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 독립적으로 움직이는 물체와 무늬가 없는 영역에 대해 더 높은 강건성을 확보하였다.

ABSTRACT

In this work, we propose a method that combines unsupervised deep learning predictions for optical flow and monocular disparity with a model based optimization procedure for instantaneous camera pose. Given the flow and disparity predictions from the network, we apply a RANSAC outlier rejection scheme to find an inlier set of flows and disparities, which we use to solve for the relative camera pose in a least squares fashion. We show that this pipeline is fully differentiable, allowing us to combine the pose with the network outputs as an additional unsupervised training loss to further refine the predicted flows and disparities. This method not only allows us to directly regress relative pose from the network outputs, but also automatically segments away pixels that do not fit the rigid scene assumptions that many unsupervised structure from motion methods apply, such as on independently moving objects. We evaluate our method on the KITTI dataset, and demonstrate state of the art results, even in the presence of challenging independently moving objects.

연구 동기 및 목표

• 독립적으로 움직이는 물체 등 도전적인 조건에서의 강건성과 안전성 부족 문제를 해결하기 위해 엔드 투 엔드 딥러닝 기반 자동차 운동 추정 기법의 한계를 보완한다.
• 기하학적 보장이 없고 이방점에 취약한 컨volutional 네트워크(CNN)를 통한 직접 자세 회귀 기법의 한계를 극복한다.
• 기하 최적화(RANSAC)를 비지도 학습 프레임워크에 통합하여 라벨이 없는 자세 데이터 없이도 정확도와 강건성을 향상시킨다.
• 명시적인 마스크 학습 없이 기하학적 일관성에 기반해 비정상적인 시나리오 성분(예: 움직이는 차량, 그림자)을 자동으로 분할한다.

제안 방법

• 파이프라인은 시간적 영상 쌍에서 광학 흐름을 예측하기 위한 두 개의 완전 컨volution 네트워크와 스테레오 쌍에서 단일 카메라 심도를 예측하기 위한 두 개의 완전 컨볼루션 네트워크를 사용한다.
• 예측된 흐름 및 심도 맵에 대해 RANSAC을 적용하여 강성 운동 모델에 가장 잘 맞는 내측점 대응을 식별하고, 이를 통해 카메라 속도 및 각속도의 강건한 추정치를 도출한다.
• 추정된 자세를 바탕으로 강성 운동 모델을 사용해 가상의 왜곡된 영상을 생성하고, 이를 통해 예측된 흐름/심도와의 사진적 일치성 손실을 계산한다.
• 예측된 자세와 심도 간의 상호 일관성에 기반해 새로운 보정 손실을 도입하며, 이 손실은 RANSAC으로 선택된 내측점 픽셀에만 적용된다.
• 전체 파이프라인이 완전히 미분 가능하여, 학습 중에 자세 추정 결과가 흐름 및 심도 네트워크의 역전파를 통해 개선될 수 있다.
• RANSAC에서 유도된 내측점 마스크를 사용해 사진적 일치성 손실을 마스킹함으로써, 기하학적으로 일관된 예측에만 지도 학습이 이루어지도록 보장한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습만을 사용하는 것과 비교해, 하이브리드 딥러닝 및 기하 최적화 파이프라인은 비지도 자동차 운동 추정의 강건성을 향상시킬 수 있는가?
• RQ2 명시적인 분할 없이도 RANSAC 기반의 이방점 제거 기법이 독립적으로 움직이는 물체와 무늬가 없는 영역을 얼마나 효과적으로 식별하고 제거할 수 있는가?
• RQ3 자세와 교차 모odal 일관성에서 유도된 보정 사진적 일치성 손실이 흐름 및 심도 예측 정확도를 얼마나 향상시키는가?
• RQ4 예측이 노이즈가 많을 경우에도 RANSAC 내측점 선택 기법이 더 나은 모델 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 방법이 더 작은 네트워크 아키텍처로도 KITTI에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 이 방법은 KITTI Flow 2015 벤치마크에서 최신 기술 수준 성능을 달성하였으며, 엔드 투 엔드 흐름 오차(EPE)는 10.66, 내측점 정확도는 45.84%를 기록하여 이전의 비지도 방법들을 능가하였다.
• 보정 손실이 성능 향상에 크게 기여한다: 이 손실을 제거할 경우 EPE는 10.66에서 11.80으로 증가하여 그 효과를 입증하였다.
• RANSAC는 상당히 낮은 오차를 가진 내측점 픽셀을 선택한다: 내측점에서의 EPE는 3.21(전체 평균 10.66 대비)로, 이는 고품질 예측을 효과적으로 분리함을 보여준다.
• RANSAC에서 유도된 내측점 마스크는 네트워크가 이들 영역에서 어려움을 겪더라도 독립적으로 움직이는 차량, 그림자, 하늘, 식생을 성공적으로 제거한다.
• KITTI Stereo 2015에서 전체 픽셀 기준 심도 RMSE는 12.63으로 측정되었고, RANSAC 내측점에서는 8.00으로 감소하여 내측점의 높은 품질을 입증하였다.
• 제거 실험 결과, RANSAC 기반 내측점 선택과 보정 손실이 모두 핵심 요소임을 확인하였으며, 둘 중 하나를 제거할 경우 성능이 크게 떨어졌다.