[논문 리뷰] Two Stream Networks for Self-Supervised Ego-Motion Estimation

Rareş Ambruş, Vitor Guizilini외 3명|arXiv (Cornell University)|2019. 10. 04.

Advanced Vision and Imaging참고 문헌 52인용 수 11

한 줄 요약

이 논문은 자기지도 학습을 통해 레이블이 없는 RGB 영상에서 단안 깊이와 자율주행 차량의 자세를 동시에 학습하는 이중 스트림 신경망을 제안한다. 외관 특징과 추론된 깊이 특징을 융합하여 정확도를 향상시키며, 과적합을 줄이고 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해 희소성 유도 데이터 증강 정책을 도입한다. 이는 100만 프레임 규모의 도심 주행 데이터셋에서 점진적인 성능 향상을 보인다.

ABSTRACT

Learning depth and camera ego-motion from raw unlabeled RGB video streams is seeing exciting progress through self-supervision from strong geometric cues. To leverage not only appearance but also scene geometry, we propose a novel self-supervised two-stream network using RGB and inferred depth information for accurate visual odometry. In addition, we introduce a sparsity-inducing data augmentation policy for ego-motion learning that effectively regularizes the pose network to enable stronger generalization performance. As a result, we show that our proposed two-stream pose network achieves state-of-the-art results among learning-based methods on the KITTI odometry benchmark, and is especially suited for self-supervision at scale. Our experiments on a large-scale urban driving dataset of 1 million frames indicate that the performance of our proposed architecture does indeed scale progressively with more data.

연구 동기 및 목표

• 기존 자기지도 학습 기반 자율주행 차량 자세 추정 방법이 밀도 있는 외관 변화에만 의존하여 희소 기하학적 구조를 忽시하는 한계를 해결한다.
• 자세 네트워크 정규화를 목표로 하는 새로운 데이터 증강 정책을 도입하여 자기지도 학습 기반 자율주행 차량 자세 추정의 일반화 능력을 향상시킨다.
• 자기지도 단안 자율주행 차량 자세 추정에서 성능이 모델 아키텍처에 크게 의존하며, 손실 함수 설계만으로는 충분하지 않음을 입증한다.
• 대규모 레이블이 없는 데이터셋에서의 자기지도 사전학습이 KITTI와 같은 표준 벤치마크에서의 최종 성능 향상에 어떻게 기여하는지 탐구한다.
• 100만 프레임 규모의 도심 주행 데이터셋에서의 사전학습이 성능 향상에 기여하는 정도를 정량화하며, 데이터 양 증가에 따라 점진적인 성능 향상을 보인다.

제안 방법

• RGB 이미지와 추론된 단안 깊이 예측을 병렬로 처리하는 이중 스트림 신경망 아키텍처를 설계하여, 양 모odal의 특징을 융합해 자율주행 차량 자세 추정 성능을 향상시킨다.
• 깊이 네트워크와 자세 네트워크에 공통된 인코더 백본을 사용하고, 각각 깊이 및 자율주행 차량 자세 예측을 위한 별도의 헤드를 갖추어 특징 공유와 공동 최적화를 가능하게 한다.
• 학습 중 입력 이미지의 일부 영역을 무작위로 마스킹하는 희소성 유도 데이터 증강 정책을 도입하여 자세 네트워크가 강건한 희소 표현을 학습하도록 유도한다.
• 이산화 가능한 이미지 워핑 기반의 광학 일致성 손실을 적용하여 이웃 프레임에서 기하학적 재구성 원리를 활용해 깊이 및 자율주행 차량 자세 예측을 동시에 지도한다.
• 깊이 추정을 위해 다중 해상도 스케일에서의 감독 전략을 도입하며, 세밀한 세부 사항을 유지하기 위해 스킵 연결을 활용한다.
• 재구성 품질 향상과 왜곡된 이미지의 블러 감소를 위해 광학 일치성 손실에 구조적 유사도(SSIM) 및 L1 손실 성분을 통합한다.

실험 결과

연구 질문

• RQ1 이중 스트림 아키텍처에서 RGB와 추론된 깊이 특징을 융합할 경우, 단순 외관 기반 모델 대비 자기지도 자율주행 차량 자세 추정 성능이 크게 향상되는가?
• RQ2 희소성 유도 데이터 증강 정책이 자기지도 자율주행 차량 자세 추정 학습에서 자세 네트워크의 정규화를 효과적으로 유도하고 과적합을 줄이는가?
• RQ3 자기지도 자율주행 차량 자세 추정 모델의 성능은 레이블이 없는 데이터의 양이 증가함에 따라 어떻게 변화하는가?
• RQ4 대규모 다채널 도심 주행 데이터셋에서의 사전학습이 KITTI와 같은 표준 벤치마크에서의 성능 향상에 얼마나 기여하는가?
• RQ5 자기지도 학습에서 깊이 및 자율주행 차량 자세 예측 간 상호의존성을 손실 함수 수정이 아닌 아키텍처 설계를 통해 가장 효과적으로 해결할 수 있는가?

주요 결과

• 제안된 이중 스트림 네트워크는 KITTI 오도메트리 벤치마크에서 학습 기반 방법 중 최신 기술 수준의 성능을 달성하며, KITTI 테스트 세트에서 상대적 이동 오차(t_rel)는 0.91, 회전 오차(r_rel)는 1.22를 기록한다. 이는 KITTI 및 Cityscapes 데이터셋에서 사전학습된 결과이다.
• 더 많은 데이터로 사전학습할수록 성능 향상 경향이 명확히 나타나며, 대규모 도심 주행 데이터셋의 100만 프레임에서 사전학습한 결과, KITTI에서 상대적 이동 오차가 1.45%로 향상되었다.
• 희소성 유도 증강 정책은 과적합을 줄이고 일반화 능력을 향상시켜, 표준 증강 전략 대비 자세 추정 정확도에서 20~30%의 상대적 향상을 이룬다.
• 대규모 데이터셋에서의 사전학습이 KITTI 벤치마크 성능 향상에 크게 기여한다: D1M 데이터셋에서 사전학습한 결과, KITTI 테스트 세트에서 상대적 이동 오차가 3.88%로 감소하였으며, KITTI에서만 학습한 경우 4.74%였던 것과 비교된다.
• 이중 스트림 아키텍처는 외관과 기하학적 신호를 모두 활용하여 단일 스트림 기반 모델보다 뛰어난 성능을 보이며, 표준 단일 스트림 모델 대비 자세 오차가 40% 감소하였다.
• 제거 분석 결과, 손실 함수 설계보다 아키텍처 설계가 성능에 더 큰 영향을 미치며, 자기지도 SfM에서 다중 스트림 특징 융합의 중요성을 입증한다.