[논문 리뷰] MVP: Unified Motion and Visual Self-Supervised Learning for Large-Scale Robotic Navigation

Marvin Chancán, Michael Milford|arXiv (Cornell University)|2020. 03. 02.

Robotics and Sensor-Based Localization참고 문헌 90인용 수 8

한 줄 요약

이 논문은 시각적 장소 인식(VPR)과 운동 추정(예: 시각적 또는 레이더 옹도미터리)을 통합하여 강력하고 대규모의 로봇 주행을 가능하게 하는 통합형 자기지도화 프레임워크인 MVP를 제안한다. 강화학습 정책 내에서 압축된 시각적 및 운동 표현을 시간적으로 융합함으로써, GPS 성능이 열 劣한 조건에서도 옥스포드 로봇카 데이터셋에서 93%의 성공률을 달성하였으며, 이는 시각 전용 방법(7%)에 비해 뚜렷한 승리이다.

ABSTRACT

Autonomous navigation emerges from both motion and local visual perception in real-world environments. However, most successful robotic motion estimation methods (e.g. VO, SLAM, SfM) and vision systems (e.g. CNN, visual place recognition-VPR) are often separately used for mapping and localization tasks. Conversely, recent reinforcement learning (RL) based methods for visual navigation rely on the quality of GPS data reception, which may not be reliable when directly using it as ground truth across multiple, month-spaced traversals in large environments. In this paper, we propose a novel motion and visual perception approach, dubbed MVP, that unifies these two sensor modalities for large-scale, target-driven navigation tasks. Our MVP-based method can learn faster, and is more accurate and robust to both extreme environmental changes and poor GPS data than corresponding vision-only navigation methods. MVP temporally incorporates compact image representations, obtained using VPR, with optimized motion estimation data, including but not limited to those from VO or optimized radar odometry (RO), to efficiently learn self-supervised navigation policies via RL. We evaluate our method on two large real-world datasets, Oxford Robotcar and Nordland Railway, over a range of weather (e.g. overcast, night, snow, sun, rain, clouds) and seasonal (e.g. winter, spring, fall, summer) conditions using the new CityLearn framework; an interactive environment for efficiently training navigation agents. Our experimental results, on traversals of the Oxford RobotCar dataset with no GPS data, show that MVP can achieve 53% and 93% navigation success rate using VO and RO, respectively, compared to 7% for a vision-only method. We additionally report a trade-off between the RL success rate and the motion estimation precision.

연구 동기 및 목표

• 극도로 변화하는 시각적 조건과 GPS 불량 환경에서 시각 전용 주행의 한계를 해결한다.
• GPS 데이터가 열 劣하거나 없을 경우 및 극심한 날씨나 계절 변화 상황에서 주행 정책의 강건성과 일반화 능력을 향상시킨다.
• 운동 추정(예: VO, RO)을 압축된 VPR 특징과 통합하여 강화학습 기반 주행을 향상시킨다.
• 장기적인 주행 환경에서 정밀한 운동 추정이 주행 성공률에 미치는 영향을 입증한다.

제안 방법

• 장기적 시각적 표현을 위해 딥러닝 기반의 시각적 장소 인식(VPR)을 사용해 압축된 이미지 임베딩을 추출한다.
• 정책 네트워크에 시각 옹도미터리(VO) 또는 레이더 옹도미터리(RO) 등의 운동 추정 데이터를 시간적 입력으로 통합한다.
• 목표 지향적 주행을 위해 VPR 임베딩과 운동 추정을 함께 처리하는 강화학습(RL) 정책을 훈련시킨다.
• 다양한 환경 조건에서 주행 에이전트를 효율적이고 상호작용적으로 훈련하기 위해 CityLearn 프레임워크를 활용한다.
• 시각 및 운동 모odal을 시간적으로 융합하여 정책 일반화 능력을 향상시키는 통합 네트워크 아키텍처를 설계한다.
• 극심한 날씨와 계절 변화 조건에서 대규모 실세계 데이터셋인 옥스포드 로봇카와 노르달 철도 데이터셋을 사용해 시스템을 평가한다.

실험 결과

연구 질문

• RQ1 시각적 장소 인식과 운동 추정을 융합함으로써, GPS 성능이 열 劣한 대규모 실세계 환경에서 주행의 강건성을 향상시킬 수 있는가?
• RQ2 정밀한 운동 데이터(예: VO, RO) 통합이 시각적 변동성과 GPS 불량 조건에서 RL 기반 주행 정책의 성공률에 어떤 영향을 미치는가?
• RQ3 야간, 눈, 흐린 날씨와 같은 극한 환경 조건에서 MVP는 시각 전용 주행 시스템보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 자기지도화된 목표 지향 주행에서 운동 추정 정밀도와 주행 성공률 사이의 상호 교환 관계는 어떠한가?
• RQ5 매월 간격으로 주행하는 동안 시각적 및 환경적 변화가 큰 상황에서도 MVP는 일반화 능력을 유지할 수 있는가?

주요 결과

• GPS 데이터가 전혀 없는 옥스포드 로봇카 데이터셋에서, 레이더 옹도미터리(RO)를 사용한 MVP는 93%의 주행 성공률를 기록했고, 시각 전용 방법은 단지 7%에 그쳤다.
• 시각 옹도미터리(VO)를 사용한 MVP는 GPS 성능이 열 劣한 조건에서 53%의 성공률를 달성하여, 시각 전용 기반 모델에 비해 뚜렷한 향상이 있었음을 보여주었다.
• 노르달 철도 데이터셋에서 MVP-GPS는 겨울 조건에서 94%의 성공률를 기록했고, 이는 시각 전용 에이전트의 86% 성공률를 뛰어넘었다.
• 그림 2 오른쪽의 교환 분석 결과, 높은 운동 추정 정밀도와 높은 RL 성공률 사이에 상관관계가 있음을 확인했으며, 이는 운동 데이터가 정책 성능 향상에 기여함을 시사한다.
• 옥스포드 로봇카 데이터셋의 모든 주행에서 MVP 기반 에이전트는 극단적인 변화(예: 낮에서 밤, 흐린 하늘에서 눈 오는 날씨) 조건에서도 먼 목표지점까지 성공적으로 주행했으며, 반면 시각 전용 에이전트는 유사 조건에서 실패했다.
• GPS 데이터가 완전히 이용 불가능하거나 신뢰할 수 없을 경우에도 이 방법은 강건성을 유지했으며, 이는 장기적이고 대규모 주행에서 운동-시각 융합의 가치를 입증한다.