[논문 리뷰] Sim-to-Real Transfer for Vision-and-Language Navigation

Peter Anderson, Ayush Shrivastava외 5명|arXiv (Cornell University)|2020. 11. 07.

Multimodal Machine Learning Applications참고 문헌 47인용 수 21

한 줄 요약

이 논문은 시뮬레이션에서 훈련된 시각-언어 탐색(VLN) 에이전트를 물리적 로봇으로의 첫 번째 시뮬레이션-실세계 전이를 제시한다. 하위목표 모델을 사용하여 이산적인 시뮬레이션 동작과 연속적인 로봇 제어를 연결한다. 사전에 수집된 지도와 그래프를 사용할 경우, 로봇은 46.8%의 성공률을 기록하며 시뮬레이션 성능보다 9.1% 떨어지지만, 이는 실현 가능한 전이임을 보여준다. 그러나 지도가 없는 콜드스타트 환경에서는 하위목표 예측 오류로 인해 성능이 22.5%로 떨어진다.

ABSTRACT

We study the challenging problem of releasing a robot in a previously unseen environment, and having it follow unconstrained natural language navigation instructions. Recent work on the task of Vision-and-Language Navigation (VLN) has achieved significant progress in simulation. To assess the implications of this work for robotics, we transfer a VLN agent trained in simulation to a physical robot. To bridge the gap between the high-level discrete action space learned by the VLN agent, and the robot's low-level continuous action space, we propose a subgoal model to identify nearby waypoints, and use domain randomization to mitigate visual domain differences. For accurate sim and real comparisons in parallel environments, we annotate a 325m2 office space with 1.3km of navigation instructions, and create a digitized replica in simulation. We find that sim-to-real transfer to an environment not seen in training is successful if an occupancy map and navigation graph can be collected and annotated in advance (success rate of 46.8% vs. 55.9% in sim), but much more challenging in the hardest setting with no prior mapping at all (success rate of 22.5%).

연구 동기 및 목표

• 시뮬레이션에서 훈련된 VLN 에이전트가 자연어 지시에 따라 실제 환경에서 성공적으로 주행할 수 있는지 평가하는 것.
• 시뮬레이션의 이산 동작 공간과 실제 세계의 연속 제어 간의 격차로 인한 시뮬레이션-실세계 격차를 해결하는 것.
• 기존의 탐색 스택을 사용하여 저비용 물리적 로봇에 학습된 VLN 에이전트를 구현할 수 있는지 조사하는 것.
• 사전 환경 지ap(점유 지도 및 탐색 그래프)의 존재 여부가 시뮬레이션-실세계 전이 성능에 미치는 영향을 평가하는 것.
• 특히 사전 환경 지식이 없는 콜드스타트 상황에서의 주요 실패 원인을 규명하는 것.

제안 방법

• 360도 RGB 이미지와 레이저 스캔에서부터 가까운 주행 가능한 웨이포인트를 예측하는 하위목표 모델을 훈련시켜, 고수준 VLN 동작을 저수준 로봇 제어로 변환할 수 있도록 한다.
• 시뮬레이션과 실제 환경 간의 시각적 도메인 차이를 줄이기 위해, VLN 에이전트와 하위목표 모델의 훈련 모두에 도메인 랜덤라이제이션을 적용한다.
• 실제 로봇 운영을 가능하게 하기 위해, SLAM, 장애물 회피, 경로 계획 기능을 포함한 전통적인 ROS 기반 탐색 스택을 사용한다.
• 실제 325m² 규모의 사무실 환경(Coda)을 Matterport 카메라로 스캔하여 Matterport3D 시뮬레이터로 디지털화하여, 병렬된 시뮬레이션-실세계 평가를 수행한다.
• 111개의 자연어 탐색 지시문을 Amazon Mechanical Turk를 통해 수집하여, 실제 및 시뮬레이션 환경 모두에 대해 언어-경로 쌍 데이터셋을 구성한다.
• 두 가지 평가 설정을 사용한다: '지도 있음'(사전 수집된 점유 지도 및 탐색 그래프 사용)과 '지도 없음'(각 에피소드에서 로봇이 SLAM을 처음부터 수행함).

실험 결과

연구 질문

• RQ1 사전에 알려지지 않은 실제 환경에서 자연어 지시에 따라 시뮬레이션에서 훈련된 VLN 에이전트가 성공적으로 주행할 수 있는가?
• RQ2 사전에 수집된 환경 지도의 유무가 시뮬레이션-실세계 전이 성능에 어떤 영향을 미치는가?
• RQ3 사전 지도가 없는 상황에서의 주요 실패 원인은 무엇인가?
• RQ4 시각적 도메인 차이와 시점의 불일치가 실제 환경 배포 시 성능 저하에 얼마나 기여하는가?
• RQ5 하위목표 모델이 이산적인 시뮬레이션 동작과 연속적인 로봇 제어 간의 동작 공간 격차를 효과적으로 메울 수 있는가?

주요 결과

• 사전에 수집된 점유 지도와 탐색 그래프를 사용할 경우, 로봇은 자연어 지시를 따르는 데 46.8%의 성공률을 기록하며, 이는 시뮬레이션 성능 55.9%보다 9.1% 낮다.
• 이 9.1%의 성능 저하는 시각적 도메인 차이로 인한 3.9%와 시점 불일치로 인한 5.2%로 구성된다.
• 지도가 없는 콜드스타트 설정에서는 로봇이 각 에피소드에서 SLAM을 처음부터 수행하고 사전 환경 지식이 없기 때문에 성공률이 22.5%로 떨어진다.
• 이러한 '지도 없음' 설정에서의 주요 실패 원인은 하위목표 모델의 예측 오류이며, 이는 잘못된 예측(예: 나선형 계단으로 이동)과 잘못된 무시(예: 가구 사이의 좁은 통로를 놓침)를 포함한다.
• '지도 없음' 설정에서 실제 환경과 시뮬레이션 환경 간의 경로 유사도가 가장 낮으며, NDTW 점수는 0.33로 경로의 상당한 분리가 있음을 나타낸다.
• 연구 결과, 하위목표 예측 정확도 부족과 동작 공간 불일치로 인해 콜드스타트 설정에서의 시뮬레이션-실세계 전이 문제는 여전히 열려 있는 연구 과제로 남아 있다.