[论文解读] iGibson 2.0: Object-Centric Simulation for Robot Learning of Everyday Household Tasks

Chengshu Li, Fei Xia+14 more|arXiv (Cornell University)|Aug 6, 2021

Robot Manipulation and Learning参考文献 33被引用 62

一句话总结

iGibson 2.0 在 Gibson 仿真中扩展了对象中心的扩展状态（温度、潮湿度、清洁度、已切换状态和切片状态）、谓词基础的逻辑与采样，以及用于收集示范的 VR 界面，从而实现六个新的家居任务和模仿学习。

ABSTRACT

Recent research in embodied AI has been boosted by the use of simulation environments to develop and train robot learning approaches. However, the use of simulation has skewed the attention to tasks that only require what robotics simulators can simulate: motion and physical contact. We present iGibson 2.0, an open-source simulation environment that supports the simulation of a more diverse set of household tasks through three key innovations. First, iGibson 2.0 supports object states, including temperature, wetness level, cleanliness level, and toggled and sliced states, necessary to cover a wider range of tasks. Second, iGibson 2.0 implements a set of predicate logic functions that map the simulator states to logic states like Cooked or Soaked. Additionally, given a logic state, iGibson 2.0 can sample valid physical states that satisfy it. This functionality can generate potentially infinite instances of tasks with minimal effort from the users. The sampling mechanism allows our scenes to be more densely populated with small objects in semantically meaningful locations. Third, iGibson 2.0 includes a virtual reality (VR) interface to immerse humans in its scenes to collect demonstrations. As a result, we can collect demonstrations from humans on these new types of tasks, and use them for imitation learning. We evaluate the new capabilities of iGibson 2.0 to enable robot learning of novel tasks, in the hope of demonstrating the potential of this new simulator to support new research in embodied AI. iGibson 2.0 and its new dataset are publicly available at http://svl.stanford.edu/igibson/.

研究动机与目标

• 促使将机器人仿真扩展到超越运动学 (kinodynamics)，覆盖与家务任务相关的对象状态变化（例如温度、湿度、清洁度）。
• 引入一个逻辑谓词与生成采样框架，将物理状态映射到语义状态，并为多样的任务实例提供种子。
• 提供一个 VR 界面，用于收集人类示范以进行新任务的模仿学习。
• 展示用语义放置的小对象密集填充场景以支持现实任务学习的能力。
• 评估六个新任务，展示在扩展状态与 VR 指导示范下学习的可行性。

提出的方法

• 引入按对象类别维护的扩展对象状态：温度、湿润度、清洁度、切换状态和切片状态。
• 定义一元和二元逻辑谓词（例如 Cooked、Soaked、InsideOf），将物理状态映射到语义状态并实现语言对齐的表示。
• 实现一个生成采样系统，从逻辑状态生成有效的仿真状态，使场景初始化具有语义意义。
• 开发基于规则的机制，使用生成系统密集填充场景，在不需要人工编写的情况下提高真实感。
• 提供一个与 OpenVR 兼容的沉浸式演示界面，并引入辅助抓取，使在 VR 中实现自然的双手操作成为可能。
• 支持可确定回放的状态日志，用于事后传感信号生成和模仿学习工作流。

实验结果

研究问题

• RQ1 扩展对象状态是否能够实现先前仿真器无法实现的新家务任务的学习？
• RQ2 基于谓词的生成系统在创建多样、现实的任务初始状态方面有多有效？
• RQ3 基于 VR 的示范界面是否能提升在这些扩展状态任务中的双手操作的模仿学习？
• RQ4 涉及温度、湿润度和切片的任务中，强化学习与模仿学习的临界点是什么？

主要发现

• 评估了六个需要扩展状态的新任务：抓取书本、浸泡毛巾、清洁有污渍的架子、烹饪肉类、切片水果，以及双手拾放。
• 在简化抓取条件下，SAC 在抓取书本、浸泡毛巾、清洁有污渍的架子和烹饪肉类任务上达到 100% 成功率；切片水果在双手人形机器人为 15%、Fetch 为 0%。
• 使用人形模型的双手拾放任务因协调挑战达到 0%；Fetch 在全抓取复杂度下在两个任务上达到 25%，其他三个任务为 0%。
• 使用 VR 演示的双手任务模仿学习，在距目标起始点分别为 6s 和 3s 时，成功率为 19% 和 46%。
• 对浸泡毛巾的消融实验在初始状态变异性逐渐增加时显示出鲁棒性提升：19%、79%、87% 的成功率。
• VR 界面使得收集模仿学习示范成为可能，并凸显在长期多步骤任务中的协变量漂移挑战。