[论文解读] Habitat 2.0: Training Home Assistants to Rearrange their Habitat

Andrew Szot, Alexander Clegg+19 more|arXiv (Cornell University)|Jun 28, 2021

Reinforcement Learning in Robotics参考文献 83被引用 25

一句话总结

本文介绍 Habitat 2.0 (H2.0) 与 ReplicaCAD，这是一个快速的物理仿真启用的模拟器和 HAB 基准，用以研究长时域的家庭重排任务，比较端到端 RL 策略与经典的 sense-plan-act 流程，并揭示分层 RL 的优势以及 SPA 的脆弱性。

ABSTRACT

We introduce Habitat 2.0 (H2.0), a simulation platform for training virtual robots in interactive 3D environments and complex physics-enabled scenarios. We make comprehensive contributions to all levels of the embodied AI stack - data, simulation, and benchmark tasks. Specifically, we present: (i) ReplicaCAD: an artist-authored, annotated, reconfigurable 3D dataset of apartments (matching real spaces) with articulated objects (e.g. cabinets and drawers that can open/close); (ii) H2.0: a high-performance physics-enabled 3D simulator with speeds exceeding 25,000 simulation steps per second (850x real-time) on an 8-GPU node, representing 100x speed-ups over prior work; and, (iii) Home Assistant Benchmark (HAB): a suite of common tasks for assistive robots (tidy the house, prepare groceries, set the table) that test a range of mobile manipulation capabilities. These large-scale engineering contributions allow us to systematically compare deep reinforcement learning (RL) at scale and classical sense-plan-act (SPA) pipelines in long-horizon structured tasks, with an emphasis on generalization to new objects, receptacles, and layouts. We find that (1) flat RL policies struggle on HAB compared to hierarchical ones; (2) a hierarchy with independent skills suffers from 'hand-off problems', and (3) SPA pipelines are more brittle than RL policies.

研究动机与目标

• 创建可交互、照片级真实、具备可移动的关节对象的家庭规模环境以进行重排任务。
• 开发高性能物理仿真启用的模拟器以支持大规模的 RL 与 SPA 实验。
• 提供一个基准（HAB）以评估对未见对象、容器和布局的泛化能力。
• 系统性比较端到端强化学习策略与经典的 sense-plan-act 流水线在长时域任务中的表现。
• 分析泛化、传感器依赖和运动规划整合，以指导未来的具身 AI 研究。

提出的方法

• ReplicaCAD：一个艺术家创作的、可交互的 3D 公寓数据集，包含具有关节的对象（例如抽屉、冰箱）以及 900+ 小时的艺术家工作量，设计用于匹配真实空间并 enable 重排实验。
• Habitat 2.0：一个高性能物理仿真启用的模拟器，具有局部物理、渲染/物理的交错以及资源复用，以在 8 GPUs 上实现最高 26,000 SPS，从而实现 850x 的实时性能。
• Home Assistant Benchmark (HAB)：一组任务（整理房子、准备杂货、摆放餐具），其中 Fetch 移动操作器将对象从初始 receptacle 重排到目标 receptacle，具有 GeometricGoal 风格的规范。
• 两种实验范式：单体端到端 RL 策略和经典的 sense-plan-act (SPA) 流水线，其中包含具有完整场景知识的特权 SPA 基线。
• 与 OMPL 的运动规划集成，以实现对学习策略与经典规划方法的公平比较。

实验结果

研究问题

• RQ1 端到端 RL 策略在长时域家庭重排任务中的扩展性如何？
• RQ2 分层 RL 方法在 HAB 类任务上是否优于扁平的单体策略？
• RQ3 与 RL 相比，SPA 在鲁棒性和对未见对象、 receptacles、布局的泛化方面表现如何？
• RQ4 在遇到新对象、 receptacles 和公寓配置时，学习与规划方法各自的泛化极限是什么？
• RQ5 影响性能和泛化的传感与规划要求是什么？

主要发现

• 扁平化的 RL 策略能够学习多样的技能，但若缺乏适当的层级关系，难以将技能串联以完成长时域的 HAB 任务。
• 具有完美任务规划器的分层 RL 能在长时域任务中提升性能，但在技能之间的交接问题上可能出现挑战。
• SPA 流水线在复杂、杂乱的环境中较脆弱，在某些泛化条件下可能被分层学习方法超越。
• 单体 RL 对新布局的泛化相对较好，但在未见对象和 receptacles 时显著下降，揭示对象级泛化挑战。
• SPA-Priv（特权信息）在 SPA 上有改进，但在未见 receptacle 情况下仍未完全缩小与学习型分层方法的差距。