[论文解读] MINOS: Multimodal Indoor Simulator for Navigation in Complex Environments

Manolis Savva, Anne Lynn S. Chang+3 more|arXiv (Cornell University)|Dec 11, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用 151

一句话总结

MINOS 提供一个大规模多模态室内仿真框架（SUNCG 和 Matterport3D），用于在真实的混乱环境中开发和评估面向目标的导航，评估多模态传感输入和多种基于强化学习的导航方法。

ABSTRACT

We present MINOS, a simulator designed to support the development of multisensory models for goal-directed navigation in complex indoor environments. The simulator leverages large datasets of complex 3D environments and supports flexible configuration of multimodal sensor suites. We use MINOS to benchmark deep-learning-based navigation methods, to analyze the influence of environmental complexity on navigation performance, and to carry out a controlled study of multimodality in sensorimotor learning. The experiments show that current deep reinforcement learning approaches fail in large realistic environments. The experiments also indicate that multimodality is beneficial in learning to navigate cluttered scenes. MINOS is released open-source to the research community at http://minosworld.org . A video that shows MINOS can be found at https://youtu.be/c0mL9K64q84

研究动机与目标

• 激励并推动在真实室内环境中开发多感官导航模型。
• 利用大型数据集（SUNCG 和 Matterport3D）研究在多样化布局上的泛化能力。
• 提供灵活的多模态传感器支持和环境自定义，以进行受控实验。
• 对最先进的基于强化学习的导航方法进行基准测试，并分析环境复杂性对性能的影响。
• 展示多模态输入在混乱室内导航中的优势，并将工具开源。

提出的方法

• 介绍 MINOS 作为一个快速、灵活的仿真器，数据集为 SUNCG（约 45k 个房屋）和 Matterport3D（约 90 个住宅）。
• 支持模块化传感器套件（视觉、深度、表面法线、触觉、语义）以及可编程的传感器配置。
• 提供环境自定义（纹理/杂乱度变化、对象操作）和面向目标的任务（PointGoal、ObjectGoal、RoomGoal）。
• 实现带有 WebGL 渲染的服务器-客户端架构，以及用于 RL 训练和交互使用的 Python/网页客户端。
• 支持连续和离散的智能体控制，带有参数化物理模型和多种预配置的智能体（离散/连续）。
• 在不同模态和环境复杂性下对多种智能体（A3C FF、A3C LSTM、UNREAL、Direct Future Prediction）进行基准测试。

实验结果

研究问题

• RQ1 当前深度强化学习导航方法在大规模、现实的室内环境中的表现如何？
• RQ2 多模态感知（视觉、深度、触觉、语义）是否提高了混乱室内场景中的导航性能？
• RQ3 环境复杂性（规模、家具、真实感）如何影响对未见环境的泛化？
• RQ4 数据集真实度（合成的 SUNCG 与重建的 Matterport3D）在导航性能中的作用？
• RQ5 MINOS 能否促进跨方法和传感器配置的受控比较？

主要发现

环境	数据集	任务	杂乱	大小	随机	A3C-FF	A3C-LSTM	DFP	UNREAL
PointGoal	SUNCG	Empty	Small	23.8	10.1	69.1	80.3	72.9
PointGoal	SUNCG	Empty	Medium	8.6	7.2	57.4	64.1	63.2
PointGoal	SUNCG	Furnished	Small	9.5	16.1	60.9	64.5	64.1
PointGoal	SUNCG	Furnished	Medium	6.3	7.9	41.3	43.6	45.3
PointGoal	Matterport3D	Furnished	Small	0.0	2.0	32.0	27.3	38.0
PointGoal	Matterport3D	Furnished	Medium	0.0	2.0	0.0	18.2	20.0
RoomGoal	SUNCG	Furnished	Small	10.0	25.7	30.0	22.5	58.6
RoomGoal	SUNCG	Furnished	Medium	3.1	6.9	7.2	4.0	32.0
RoomGoal	Matterport3D	Furnished	Small	5.0	12.0	14.0	13.6	14.0

• 在配备家具的 Matterport3D 环境中，大多数深度强化学习方法表现欠佳，PointGoal 的成功率通常低于 20%。
• RoomGoal 任务表现甚至更差，强调语义目标的奖励信号更稀疏。
• 在评估的方法中，UNREAL 通常表现最好，其次是 DFP 和 A3C-LSTM；A3C-FF 表现较差。
• 深度和触觉模态特别强大；组合模态在混乱环境中实现最佳性能。
• 多模态输入显著提升在混乱设置中的导航；深度（以及包含深度的组合）通常提供最强的增益。
• 随着环境规模和混乱度增加，表现显著下降，表明当前的 RL 方法在现实室内导航中的可扩展性有限。