[論文レビュー] The ThreeDWorld Transport Challenge: A Visually Guided Task-and-Motion Planning Benchmark for Physically Realistic Embodied AI

Chuang Gan, Siyuan Zhou+9 more|arXiv (Cornell University)|Mar 25, 2021

Reinforcement Learning in Robotics参考文献 47被引用数 12

ひとこと要約

本論文は、写真および物理的にリアルな3次元環境において、2本の9自由度アームを備えた身体的エージェントが、コンテナを道具として用い、散らかった物体を目的位置に持ち運ぶ、物理的駆動型で視覚誘導のタスクアンドモーションプランニングベンチマーク「ThreeDWorld Transport Challenge」を紹介する。最先端のモデルでさえも全成功を達成できず、最高で52%の搬送率にとどまっていることから、本チャレンジの難易度の高さと、物理的AIにおける統合的学習と計画の必要性が浮き彫りになる。

ABSTRACT

We introduce a visually-guided and physics-driven task-and-motion planning benchmark, which we call the ThreeDWorld Transport Challenge. In this challenge, an embodied agent equipped with two 9-DOF articulated arms is spawned randomly in a simulated physical home environment. The agent is required to find a small set of objects scattered around the house, pick them up, and transport them to a desired final location. We also position containers around the house that can be used as tools to assist with transporting objects efficiently. To complete the task, an embodied agent must plan a sequence of actions to change the state of a large number of objects in the face of realistic physical constraints. We build this benchmark challenge using the ThreeDWorld simulation: a virtual 3D environment where all objects respond to physics, and where can be controlled using fully physics-driven navigation and interaction API. We evaluate several existing agents on this benchmark. Experimental results suggest that: 1) a pure RL model struggles on this challenge; 2) hierarchical planning-based agents can transport some objects but still far from solving this task. We anticipate that this benchmark will empower researchers to develop more intelligent physics-driven robots for the physical world.

研究の動機と目的

• 物理的相互作用と物体状態の操作を伴う複雑な長時間タスクを実行できる、身体的エージェントの能力を評価するベンチマークの開発。
• 単なる視覚的ナビゲーションや意味的基盤付けではなく、物理的認識に基づいたナビゲーション、相互作用、道具使用に重点を置いた、既存のベンチマークのギャップを埋める。
• 家庭用ロボットのシミュレーションから実世界への転送を進めるために、物理的にリアリスティックなシミュレータでハイブリッドな学習・計画アプローチの評価を可能にする。
• 物理的制約下でナビゲーション、把持、物体搬送、道具利用の連携計画を要請することで、現在のAIエージェントを挑戦する。
• ThreeDWorldシミュレーションプラットフォームを用いた標準化されたオープンベンチマークを提供し、すべての物体に対して高精細な物理的インタラクションを可能にする完全な物理的駆動APIを備える。

提案手法

• ベンチマークは、すべての物体に対して写真的リアリズムレンダリングと高精細な物理シミュレーションをサポートするThreeDWorld（TDW）シミュレーションプラットフォームを基盤として構築されている。
• エージェントは、散らかった物体と持ち運び可能なコンテナ（道具として使用可能）を備えた、複数の部屋からなる物理的シミュレートされた住宅環境に、ランダムにスポーンされる。
• ジョイントレベル制御と物理的ダイナミクスを用いた、ナビゲーション、把持、持ち上げ、配置などの行動を実行可能な、完全に物理的駆動型のハイレベルAPIが利用可能である。
• タスクは、タスクアンドモーションプランニングを要請する：環境の探索、物体の特定、複数のアイテムをコンテナで持ち運び、目的位置に搬送する。
• 階層的計画フレームワークが用いられ、サブゴール（例：発見、把持、持運び、配置）と、経路探索および行動実行のためのA*-ベースの低レベルプランナを含む。
• 衝突による落下、到達可能性の制限、隠蔽などの動的制約が環境に含まれており、エージェントが物理的妥当性を考慮して推論する必要がある。

実験結果

リサーチクエスチョン

• RQ1 既存の学習ベースおよび計画ベースのエージェントは、複数の物体の操作と道具使用を伴う長時間の物理的リアリスティックなタスクを、成功裏に完了できるか？
• RQ2 学習ベース（Active, Semantic）と非学習ベース（Frontier）の探索戦略は、搬送効率と耐障害性の観点で、どのように比較されるか？
• RQ3 強化学習と計画を統合することで、物理的豊富な環境における複雑なタスクアンドモーションプランニングのパフォーマンスはどの程度向上するか？
• RQ4 エンドツーエンドの強化学習エージェントは、本ベンチマークにおいて、物理的相互作用とナビゲーションの観点で、どのような主な失敗モードを示すか？
• RQ5 コンテナを道具として含めることで、タスクの複雑さと解決戦略はどの程度変化するか？

主な発見

• どのエージェントも100％の搬送率を達成できず、最高のモデルでさえ、未確認の5軒の住宅で平均52％の搬送率にとどまった。これはベンチマークの高い難易度を示している。
• 純粋な強化学習（RL）エージェントは、物理的相互作用の難しさと広大な探索空間のため、わずか12％の搬送率にとどまった。
• ウェイポイントベースの探索（例：Frontier, Active, Semantic）を用いた階層的計画ベースのエージェントは、純粋なRLを著しく上回り、搬送率50～52％を達成した。
• RL探索ベースライン（行動予測）は、衝突と失敗した把持に苦しんでおり、効率性と搬送成功の両面で低かった。
• 学習ベースの探索手法（ActiveおよびSemantic）は、非学習のFrontier Explorationを上回らなかった。これは、トレーニングレイアウトからの一般化の不足と、物理的認識のないマップの欠如によるものと推測される。
• 定性的な分析から、計画ベースのエージェントは最適経路に従い、障害物を避けていたのに対し、RLエージェントは頻繁に衝突しており、構造的なサブゴール計画の価値が明確になった。