[論文レビュー] Habitat 2.0: Training Home Assistants to Rearrange their Habitat

Andrew Szot, Alexander Clegg+19 more|arXiv (Cornell University)|Jun 28, 2021

Reinforcement Learning in Robotics参考文献 83被引用数 25

ひとこと要約

本論文は Habitat 2.0 (H2.0) と ReplicaCAD を導入し、長期の家庭内再配置タスクを研究するための高速物理エミュレーターと HAB ベンチマークを用い、エンドツーエンドRLポリシーと古典的な sense-plan-act パイプラインを比較し、階層型RLの利点とSPAの脆弱性を明らかにしている。

ABSTRACT

We introduce Habitat 2.0 (H2.0), a simulation platform for training virtual robots in interactive 3D environments and complex physics-enabled scenarios. We make comprehensive contributions to all levels of the embodied AI stack - data, simulation, and benchmark tasks. Specifically, we present: (i) ReplicaCAD: an artist-authored, annotated, reconfigurable 3D dataset of apartments (matching real spaces) with articulated objects (e.g. cabinets and drawers that can open/close); (ii) H2.0: a high-performance physics-enabled 3D simulator with speeds exceeding 25,000 simulation steps per second (850x real-time) on an 8-GPU node, representing 100x speed-ups over prior work; and, (iii) Home Assistant Benchmark (HAB): a suite of common tasks for assistive robots (tidy the house, prepare groceries, set the table) that test a range of mobile manipulation capabilities. These large-scale engineering contributions allow us to systematically compare deep reinforcement learning (RL) at scale and classical sense-plan-act (SPA) pipelines in long-horizon structured tasks, with an emphasis on generalization to new objects, receptacles, and layouts. We find that (1) flat RL policies struggle on HAB compared to hierarchical ones; (2) a hierarchy with independent skills suffers from 'hand-off problems', and (3) SPA pipelines are more brittle than RL policies.

研究の動機と目的

• 移動可能な可動関節オブジェクトを備えた対話型で写真のように現実的な、家庭規模の環境を再配置タスクのために作成する。
• 大規模なRLとSPA実験を可能にする高性能な物理エンジン搭載シミュレータの開発。
• 未見のオブジェクト、受け皿、レイアウトへの一般化を評価するベンチマーク（HAB）の提供。
• 長期タスクにおいてエンドツーエンドの強化学習ポリシーと古典的な sense-plan-act パイプラインを体系的に比較する。
• 一般化、センサー依存、運動計画の統合を分析し、将来の具現化AI研究を指針とする。

提案手法

• ReplicaCAD: an artist-authored, interactive 3D dataset of apartments with articulated objects (e.g., drawers, fridges) and 900+ hours of artist effort, designed to match real spaces and enable rearrangement experiments.
• Habitat 2.0: a high-performance physics-enabled simulator with localized physics, interleaved rendering/physics, and reuse of assets to achieve up to 26,000 SPS on 8 GPUs, enabling 850x real-time performance.
• Home Assistant Benchmark (HAB): a suite of tasks (tidy the house, prepare groceries, set the table) where a Fetch mobile manipulator rearranges objects from initial to target receptacles, with GeometricGoal-style specifications.
• Two experimental paradigms: monolithic end-to-end RL policies and classical sense-plan-act (SPA) pipelines, including a privileged SPA baseline with complete scene knowledge.
• Integration with OMPL for motion planning to enable fair comparisons between learned policies and classical planning approaches.

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのRLポリシーは長期の家庭内再配置タスクへどの程度スケールするか？
• RQ2 階層的RLアプローチはHAB様のタスクで平坦なモノリシックポリシーより優れているか？
• RQ3 未見のオブジェクト、受け皿、レイアウトへのロバスト性と一般化の観点でSPAはRLとどう比較されるか？
• RQ4 新規オブジェクト、受け皿、アパートメント構成に直面したとき、学習と計画の両アプローチにどんな一般化限界が存在するか？
• RQ5 家庭規模の操作タスクにおいて性能と一般化に影響を与えるセンサーと計画の要件は何か？

主な発見

• 平坦なRLポリシーは多様なスキルを学習できるが、適切な階層構造なしには長期のHABタスクを連携させるのが難しい。
• 完璧なタスクプランナーを備えた階層型RLは長期の性能を向上させるが、スキル間の受け渡し問題を被ることがある。
• SPAパイプラインは複雑でごちゃついた環境では脆弱であり、特定の一般化条件下では階層的学習アプローチに敗れることがある。
• モノリシックRLは新しいレイアウトへは比較的一般化するが、未見のオブジェクトと受け皿では著しい低下を示し、オブジェクトレベルの一般化課題を強調する。
• SPA-Priv（特権情報）はSPAより改善するが、未見受け皿の状況では学習階層アプローチとの差を完全には埋められていない。