[논문 리뷰] No RL, No Simulation: Learning to Navigate without Navigating

Meera Hahn, Devendra Singh Chaplot외 4명|arXiv (Cornell University)|2021. 10. 18.

Reinforcement Learning in Robotics참고 문헌 40인용 수 7

한 줄 요약

이 논문은 강화학습(RL)이나 시뮬레이터 없이 수동적인 이곡적 영상에서 학습하는 자기지도 학습 기반의 내비게이션 방법인 NRNS를 제안한다. SLAM 기반의 자세 정보를 활용해 RGBD 영상에서 기하학적 거리 추정기와 목표 예측 모델을 훈련시킴으로써, RL 기반 방법보다 뛰어난 성능을 달성한다. 이는 실제 영상 데이터에서 훈련된 경우에도 성능이 뛰어나며, 기존의 기준 모델들을 크게 앞서는 성능을 보인다.

ABSTRACT

Most prior methods for learning navigation policies require access to simulation environments, as they need online policy interaction and rely on ground-truth maps for rewards. However, building simulators is expensive (requires manual effort for each and every scene) and creates challenges in transferring learned policies to robotic platforms in the real-world, due to the sim-to-real domain gap. In this paper, we pose a simple question: Do we really need active interaction, ground-truth maps or even reinforcement-learning (RL) in order to solve the image-goal navigation task? We propose a self-supervised approach to learn to navigate from only passive videos of roaming. Our approach, No RL, No Simulator (NRNS), is simple and scalable, yet highly effective. NRNS outperforms RL-based formulations by a significant margin. We present NRNS as a strong baseline for any future image-based navigation tasks that use RL or Simulation.

연구 동기 및 목표

• 강화학습(RL)과 시뮬레이터가 이미지 목표 내비게이션에 필수적인가를 탐구한다.
• 합성 시뮬레이터에서 훈련함으로써 발생하는 시뮬레이터에서 실제 세계로의 도메인 갭 문제를 해결한다.
• 단지 수동 영상 데이터에서만 학습하는 확장 가능한 자기지도 학습 방법을 개발한다.
• 학습된 거리 추정 기반의 단순한 탐욕 정책이 복잡한 RL 정책을 능가할 수 있음을 보여준다.
• 실제 세계의 수동 영상에서 접근 가능성을 검증함으로써, 시뮬레이터에서 실제 세계로의 전이가 가능함을 입증한다.

제안 방법

• 현재 상태의 특징과 목표 이미지에서 레이아웃 그래프 내의 미탐색 영역까지의 최단 경로(기하학적 거리)를 예측하는 기하학적 거리 추정기를 훈련한다.
• 수동 RGBD 영상에서 SLAM을 사용해 상대적 카메라 자세를 추정함으로써, 활동적 상호작용 없이도 장면의 구조를 모델링할 수 있다.
• 이미지 및 목표 특징을 사용해 현재 위치에서 목표 이미지가 보이거나 도달 가능한지 여부를 판단하는 목표 예측 모델을 훈련한다.
• 예측된 기하학적 거리가 최소가 되는 방향으로 다음 행동을 선택하는 탐욕 정책을 적용한다.
• 훈련 중에 온라인 상호작용, 지도 정보, 보상 형상화 없이 오직 수동 영상 데이터만을 사용한다.
• 깊이 맵을 활용해 유효하지 않은 동작을 제거하고 국소 장애물 회피를 가능하게 하여 충돌 보상 신호가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 강화학습(RL)이나 시뮬레이터 환경 없이 내비게이션을 효과적으로 학습할 수 있는가?
• RQ2 단지 수동 영상 트랙토리만을 사용하는 자기지도 학습 접근 방식이 종단 간 RL 방법보다 성능이 뛰어나게 될 수 있는가?
• RQ3 수동 데이터에서 훈련된 거리 추정기가 실제 세계 내비게이션 작업으로 일반화되는 정도는 어느 정도인가?
• RQ4 학습된 거리 추정 기반의 탐욕 정책이 샘플 효율성과 실제 세계로의 전이 능력에서 RL 정책을 능가하는가?
• RQ5 정제되지 않은 실제 세계 영상(예: 부동산 투어 영상)에서 모델을 성공적으로 훈련시킬 수 있으며, 여전히 뛰어난 성능을 달성할 수 있는가?

주요 결과

• NRNS는 RL 방법보다 뚜렷한 성능 우월성을 보이며, RL이 5배 더 많은 데이터와 10배 더 많은 계산 자원을 사용한 경우조차도 이를 앞선다.
• Gibson 데이터셋에서 NRNS는 '직선 경로' 설정에서 68.00% 성공률과 61.62% SPL을 기록했으며, 행동 복제(Behavioral Cloning) 기준 모델(30.20% 성공률)을 크게 앞서고, 일부 설정에선 RL 기준 모델과 동등하거나 이를 초월한다.
• 실제 세계 영상인 RealEstate10K에서 훈련한 경우, NRNS는 '직선 경로' 설정에서 56.42% 성공률과 48.01% SPL을 기록하여 실제 데이터로의 제로샷 전이 능력이 뛰어나다는 것을 입증한다.
• 절단 분석 결과, 기하학적 거리 추정기(G_D)가 성능에 가장 큰 영향을 미치며, 특히 '어려운' 및 '곡선' 경로 설정에서 두드러진다.
• Gibson에서 훈련한 경우 RealEstate10K로의 성능 저하가 발생하지만, 여전히 경쟁력 있는 성능 유지를 보이며 도메인 갭이 존재하나 강력한 일반화 능력을 보임을 시사한다.
• Gibson에서 훈련한 NRNS는 '곡선' 어려운 경로에서 35.50% 성공률과 18.38% SPL을 기록했으며, 행동 복제 기준 모델(3.10% 성공률)을 크게 앞서며 경로 복잡성에 대한 강건성을 입증한다.