[논문 리뷰] Driven to Distraction: Self-Supervised Distractor Learning for Robust Monocular Visual Odometry in Urban Environments

Dan Barnes, Will Maddern외 2명|arXiv (Cornell University)|2017. 11. 17.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 5

한 줄 요약

이 논문은 다중 세션 3D 맵핑 데이터를 활용하여 라벨이 없는 상태에서 각 픽셀의 일시성 마스크(정적 대비 동적 환경 영역 식별)를 학습하는 자기지도 학습 방법을 제안한다. 이는 도시 환경에서 단일 카메라 시각적 오도메트리의 정확성과 안정성을 향상시킨다. 학습된 깊이 및 일시성 정보를 시각적 오도메트리 파이프라인에 통합하여 이상치를 거부함으로써, 이론적으로 90%의 이미지가 이동 중인 차량에 의해 가림에도 불구하고 오도메트리 드리프트를 감소시키고 정확한 운동 추정을 유지한다.

ABSTRACT

We present a self-supervised approach to ignoring "distractors" in camera images for the purposes of robustly estimating vehicle motion in cluttered urban environments. We leverage offline multi-session mapping approaches to automatically generate a per-pixel ephemerality mask and depth map for each input image, which we use to train a deep convolutional network. At run-time we use the predicted ephemerality and depth as an input to a monocular visual odometry (VO) pipeline, using either sparse features or dense photometric matching. Our approach yields metric-scale VO using only a single camera and can recover the correct egomotion even when 90% of the image is obscured by dynamic, independently moving objects. We evaluate our robust VO methods on more than 400km of driving from the Oxford RobotCar Dataset and demonstrate reduced odometry drift and significantly improved egomotion estimation in the presence of large moving vehicles in urban traffic.

연구 동기 및 목표

• 큰 이동 물체(예: 버스)가 시각적 특징을 지배하는 도시 환경에서 운동 추정 실패 문제를 해결한다.
• 동적 물체가 큰 일致성을 형성할 경우 실패하는 전통적인 RANSAC 기반 이상치 거부 기법의 한계를 극복한다.
• 수동 레이블링이나 사전 정의된 의미적 클래스가 없는 자기지도 학습 방법을 개발하여 일시성 마스크를 학습한다.
• 복잡하고 동적인 도시 환경에서 단일 단일 카메라만을 사용하여 메트릭 스케일의 시각적 오도메트리를 가능하게 한다.
• 일시성 및 깊이 예측을 시각적 오도메트리 파이프라인에 통합하여 간섭 요소를 억제하고 운동 추정의 정확성을 향상시킨다.

제안 방법

• LIDAR를 탑재한 조사 차량을 다중 세션으로 주행하여, 각 픽셀의 깊이 및 일시성 레이블이 포함된 대규모 3D 맵을 구축한다.
• 수동 레이블링이 필요 없이 사전에 생성된 깊이 및 일시성 데이터를 지도로 사용하여 딥 컨volution 네트워크를 훈련한다.
• 다중 시점 깊이 일관성 분석을 기반으로 구조적 엔트로피 지표를 사용해 일시성을 정의한다.
• 실행 시, 훈련된 네트워크를 사용해 단일 단일 카메라 이미지에서 일시성 및 깊이를 추론한다.
• 예측된 일시성 마스크와 깊이를 단일 카메라 오도메트리 파이프라인에 통합하며, 희소 특징 또는 밀도 기반 광학 매칭을 사용한다.
• 운동 추정 과정에서 동적 물체 위의 특징을 거부하기 위해 일시성 마스크를 공간 필터로 적용한다.

실험 결과

연구 질문

• RQ1 수동 레이블링이나 의미적 클래스 정의 없이 자기지도 학습 기반 딥 러닝 방법이 각 픽셀의 일시성 마스크를 학습할 수 있는가?
• RQ2 학습된 일시성 및 깊이 정보가 동적인 교통이 빈도 높은 도시 환경에서 단일 카메라 시각적 오도메트리 성능을 어느 정도 향상시킬 수 있는가?
• RQ3 큰 이동 물체에 의한 가림 상황에서, 제안된 방법이 기준 오도메트리 시스템 대비 드리프트 및 속도 추정 정확도에서 어떻게 성능을 냈는가?
• RQ4 이동 중인 차량이 이미지의 90% 이상을 차지하는 상황에서도 이 방법이 안정적인 운동 추정을 유지할 수 있는가?
• RQ5 기본 오도메트리 시스템과 비교해 일시성 마스크 통합이 간섭 요소 존재 시 속도 추정 오차를 유의미하게 감소시키는가?

주요 결과

• 희소 일시성 인식 기반 오도메트리 방법은 옥스포드 로봇카 데이터셋에서 400km 주행 시 평균 이동 드리프트를 6.55%에서 6.38%로 감소시켰다.
• 동일한 방법은 회전 드리프트를 0.0353 deg/m에서 0.0321 deg/m로 감소시켜 각도 안정성 향상을 입증했다.
• 간섭 요소 존재 시, 희소 일시성 인식 오도메트리 방법은 속도 오차를 0.220 m/s에서 0.0489 m/s로 감소시켜 80% 이상의 개선을 이뤘다.
• 밀도 기반 일시성 인식 오도메트리 방법은 간섭 요소가 많은 장면에서 속도 오차를 0.766 m/s에서 0.424 m/s로 감소시켜 뛰어난 내구성을 보였다.
• 일시성 마스크는 버스, 트럭, 보행자와 같은 동적 물체를 정확히 식별했으며, 장면 전체가 가려져도 성공적으로 식별했다.
• 이 방법은 실시간 깊이 센서나 추론 시 지도 매칭이 필요 없이 단일 카메라만으로도 메트릭 스케일의 시각적 오도메트리를 달성했다.