[논문 리뷰] MINOS: Multimodal Indoor Simulator for Navigation in Complex Environments

Manolis Savva, Anne Lynn S. Chang외 3명|arXiv (Cornell University)|2017. 12. 11.

Mobile Crowdsensing and Crowdsourcing참고 문헌 13인용 수 151

한 줄 요약

MINOS는 현실적인 복잡한 환경에서 목표 지향 탐색을 개발하고 벤치마크하기 위한 대규모 다중모달 실내 시뮬레이션 프레임워크(SUNCG 및 Matterport3D)를 제공하며, 다중 모달 센서 입력과 여러 RL 기반 탐색 방법을 평가합니다.

ABSTRACT

We present MINOS, a simulator designed to support the development of multisensory models for goal-directed navigation in complex indoor environments. The simulator leverages large datasets of complex 3D environments and supports flexible configuration of multimodal sensor suites. We use MINOS to benchmark deep-learning-based navigation methods, to analyze the influence of environmental complexity on navigation performance, and to carry out a controlled study of multimodality in sensorimotor learning. The experiments show that current deep reinforcement learning approaches fail in large realistic environments. The experiments also indicate that multimodality is beneficial in learning to navigate cluttered scenes. MINOS is released open-source to the research community at http://minosworld.org . A video that shows MINOS can be found at https://youtu.be/c0mL9K64q84

연구 동기 및 목표

• 현실적인 실내 환경에서 다감각 네비게이션 모델의 개발을 자극하고 가능하게 한다.
• 다양한 레이아웃에 대한 일반화 연구를 위해 대형 데이터셋(SUNCG and Matterport3D)을 활용한다.
• 통제된 실험을 위한 유연한 다중모달 센서 지원 및 환경 맞춤화를 제공한다.
• 최신 RL 기반 탐색 방법을 벤치마킹하고 환경의 복잡성이 성능에 미치는 영향을 분석한다.
• 복잡한 실내 탐색에서 다중모달 입력의 이점을 입증하고 도구를 오픈 소스 형태로 공개한다.

제안 방법

• SUNCG(≈45k 가정) 및 Matterport3D(≈90 거주지) 데이터셋을 갖춘 빠르고 융통성 있는 시뮬레이터로 MINOS를 소개한다.
• 모듈식 센서 모음(시각, 깊이, 표면 법선, 촉각, 의미론)을 지원하고 프로그래머블한 센서 구성을 허용한다.
• 텍스처/혼잡도 변이, 물체 조작 등 환경 맞춤화와 목표 지향 작업(PointGoal, ObjectGoal, RoomGoal)을 제공하고 지원한다.
• RL 학습 및 인터랙티브 사용을 위한 WebGL 렌더링과 Python/웹 클라이언트를 포함한 서버-클라이언트 아키텍처를 구현한다.
• 연속형 및 이산형 에이전트 제어를 모두 허용하고 매개변수화된 물리 모델과 다수의 사전 구성된 에이전트(이산/연속)를 지원한다.
• 다양한 모달리티 및 환경 복잡성 하에서 다수의 에이전트(A3C FF, A3C LSTM, UNREAL, Direct Future Prediction)를 벤치마킹한다.

실험 결과

연구 질문

• RQ1 현재의 심층 RL 내비게이션 방법은 대규모이면서 현실적인 실내 환경에서 어떻게 성능을 보이는가?
• RQ2 다중모달 센싱(시각, 깊이, 촉각, 의미론)이 난잡한 실내 장면에서 내비게이션 성능을 향상시키는가?
• RQ3 환경의 복잡성(크기, 가구, 현실성)이 미지의 환경으로의 일반화에 어떻게 영향을 미치는가?
• RQ4 데이터셋의 현실성(합성 SUNCG vs 재구성된 Matterport3D)이 내비게이션 성능에 어떤 역할을 하는가?
• RQ5 MINOS가 방법 간 및 센서 구성 간의 제어된 비교를 가능하게 하는가?

주요 결과

• 가구가 배치된 Matterport3D 환경에서 대부분의 심층 RL 방법이 어려움을 겪으며 PointGoal 성공률이 종종 20% 미만이다.
• RoomGoal 작업은 더 낮은 성능을 보이며, 의미론적 목표의 보상 신호가 더 희박함을 강조한다.
• UNREAL이 generally 평가된 방법 중에서 가장 우수하게 작동하고, 그 다음으로 DFP와 A3C-LSTM이 뒤를 잇고, A3C-FF는 성능이 좋지 않다.
• 깊이(depth)와 촉각 모달리티가 특히 강력하며, 모달리티를 결합하는 것이 혼잡한 환경에서 가장 좋은 성능을 낸다.
• 다중모달 입력은 혼잡한 설정에서 내비게이션을 크게 개선하며, 깊이가 포함된 조합이 가장 강한 이득을 제공하는 경우가 많다.
• 환경의 크기와 혼잡도가 증가함에 따라 성능이 크게 저하되며, 이는 현재의 RL 방법이 현실적인 실내 내비게이션에서의 확장성에 한계가 있음을 시사한다.