[论文解读] iGibson 1.0: a Simulation Environment for Interactive Tasks in Large Realistic Scenes

Bokui Shen, Fei Xia+13 more|arXiv (Cornell University)|Dec 5, 2020

Robot Manipulation and Learning参考文献 70被引用 45

一句话总结

iGibson 1.0 是一个基于物理的仿真环境，拥有15个互动式家居级场景（108个房间），提供高质量虚拟传感器、领域随机化、运动规划以及一个人机界面，用于研究大规模真实环境中的导航与操作，促进鲁棒的传感-运动学习和模仿学习。

ABSTRACT

We present iGibson 1.0, a novel simulation environment to develop robotic solutions for interactive tasks in large-scale realistic scenes. Our environment contains 15 fully interactive home-sized scenes with 108 rooms populated with rigid and articulated objects. The scenes are replicas of real-world homes, with distribution and the layout of objects aligned to those of the real world. iGibson 1.0 integrates several key features to facilitate the study of interactive tasks: i) generation of high-quality virtual sensor signals (RGB, depth, segmentation, LiDAR, flow and so on), ii) domain randomization to change the materials of the objects (both visual and physical) and/or their shapes, iii) integrated sampling-based motion planners to generate collision-free trajectories for robot bases and arms, and iv) intuitive human-iGibson interface that enables efficient collection of human demonstrations. Through experiments, we show that the full interactivity of the scenes enables agents to learn useful visual representations that accelerate the training of downstream manipulation tasks. We also show that iGibson 1.0 features enable the generalization of navigation agents, and that the human-iGibson interface and integrated motion planners facilitate efficient imitation learning of human demonstrated (mobile) manipulation behaviors. iGibson 1.0 is open-source, equipped with comprehensive examples and documentation. For more information, visit our project website: http://svl.stanford.edu/igibson/

研究动机与目标

• 为大型真实室内场景中的互动任务开发一个具身代理框架。
• 提供高质量的虚拟传感信号（RGB、深度、LiDAR、光流、法线、分割）以支持鲁棒感知学习。
• 在材料、形状和对象实例上实现领域随机化，以提高泛化能力。
• 整合基于采样的运动规划器，实现无碰撞导航与操作。
• 提供一个人机 iGibson 界面，以高效收集示例用于模仿学习。

提出的方法

• 呈现十五个完全互动的场景（108 间房间），仿照真实家庭，配有可活动对象及材料/动力学注释。
• 提供基于物理的渲染器，具备 PBR 材质与渲染，并使用场景/材质映射提升真实感。
• 支持对象实例和材料属性上的领域随机化，以扩展训练分布。
• 整合 LiDAR 以及其他虚拟传感器（RGB、深度、法线、光流、分割），提供丰富的感知信号。
• 整合开源运动规划器（RRT、BiRRT、lazyPRM），并附加带加速约束的快捷路径，以获得更平滑的轨迹。
• 提供一个人机 iGibson 界面（鼠标/键盘），用于收集示例并协助规划器辅助任务。

Figure 1 : Robot performs an interactive task in iGibson 1.0. It operates in the kitchen of one of iGibson’s fully interactive scenes, planning an interaction with the arm using a integrated sampling-based motion planner and receiving first-person view. Bottom: The same scene can be randomized with

实验结果

研究问题

• RQ1 领域随机化与真实传感信号如何影响导航策略在未见场景中的泛化？
• RQ2 在新环境中使用 LiDAR、RGB 或深度输入训练的策略是否能够泛化？
• RQ3 通过 iGibson 界面收集的人类示范是否支持对操作和移动操作的有效模仿学习？
• RQ4 在完全互动的场景中进行训练是否能够学习到加速下游操作任务的视觉表示？

主要发现

• 在深度基于的 PointGoal 导航中，使用领域随机化的策略展现出更好的泛化能力（SPL 从 0.27 提升到 0.40；成功率从 31.25% 提升到 44.75%）。
• 基于 RGB 的对象导航在材料随机化下成功率从 49.75% 提升到 57.5%。
• 基于 LiDAR 的 PointGoal 导航在 iGibson Rs_int 的迁移成功率为 33%，在现实公寓中为 24%（0 适应）。
• 使用人机 iGibson 界面进行模仿学习，在仿真中完成夹取放置任务的成功率达到 98% 。
• 移动操作的模仿学习在评估情节中实现 70% 的成功率。
• 基于交互表示的预训练通过提高样本效率，加速下游操作任务学习（PushDrawer/PushCabinet）。

(a) pick