[論文レビュー] Rearrangement: A Challenge for Embodied AI

Dhruv Batra, Anne Lynn S. Chang+10 more|arXiv (Cornell University)|Nov 3, 2020

Robot Manipulation and Learning参考文献 65被引用数 101

ひとこと要約

本論文は、Embodied AIを標準タスクとして再配置を提案し、形式的な枠組みを定義し、プラットフォームを横断した評価を標準化する4つのシミュレーションテストベッドを提供する。

ABSTRACT

We describe a framework for research and evaluation in Embodied AI. Our proposal is based on a canonical task: Rearrangement. A standard task can focus the development of new techniques and serve as a source of trained models that can be transferred to other settings. In the rearrangement task, the goal is to bring a given physical environment into a specified state. The goal state can be specified by object poses, by images, by a description in language, or by letting the agent experience the environment in the goal state. We characterize rearrangement scenarios along different axes and describe metrics for benchmarking rearrangement performance. To facilitate research and exploration, we present experimental testbeds of rearrangement scenarios in four different simulation environments. We anticipate that other datasets will be released and new simulation platforms will be built to support training of rearrangement agents and their deployment on physical systems.

研究の動機と目的

• Embodied AI の研究を統一する標準的で公準的なタスクとして再配置を提案する。
• 幾何、画像、言語、経験、述語といった多様な目標仕様を扱うエンドツーエンド評価プロトコルを定義する。
• embodiment の軸、知覚、操作の軸における再配置を特徴づける。
• 複数のシミュレーション環境で実験用テストベッドを提供し、クロスプラットフォーム研究とモデル移転を促進する。
• 評価と実装において強い一般化と現実的なセンシングを促進する。

提案手法

• 剛体および関節物体に対して、POMDPに類似した枠組みの中で再配置を形式化する。
• GeometricGoal、ImageGoal、LanguageGoal、ExperienceGoal、PredicateGoalという目標仕様メカニズムを説明する。
• 抽象的なマジックポインターから完全な物理シミュレーションとセンサーモダリティまでの embodiment オプションを概観する。
• 0–1スケールでエピソードを評価し、エンドツーエンドの知覚から行動へのパイプラインを重視する評価を提案する。
• THOR、RLBench、SAPIEN、Habitat における再配置シナリオを公開し、クロスプラットフォーム実験を可能にする。）

実験結果

リサーチクエスチョン

• RQ1 具現化された文脈における再配置の一般的でエンドツーエンドの定義は何か？
• RQ2 多様な目標仕様を単一の評価プロトコルの下でどのように統合できるか？
• RQ3 embodiment とセンサの選択は再配置の性能と embodied AI への進展にどのように影響するか？
• RQ4 クロスプラットフォーム比較と物理システムへの移行を促進する効果的なテストベッドとベンチマークは何か？
• RQ5 再配置タスクにおいて一般化をどのように定義・測定すべきか？

主な発見

• 再配置は、部分観測下で初期状態からゴール状態へ環境を変換し、0–1のエピソード報酬で評価されるものとして定義される。
• このフレームワークは、幾何、視覚、言語、経験、述語を含む複数の目標仕様に対応する。
• 4つのベンチマークシミュレータが公開され、プラットフォームを横断したエンドツーエンド評価をサポートする（THOR、RLBench、SAPIEN、Habitat）。
• 抽象的なポインタから完全な物理シミュレーションまでの embodiment の選択肢のスペクトルを議論し、それぞれをいつ使用すべきかの指針を提供する。
• 著者らは強い一般化を提唱し、現実的なセンシングと特権情報なしで未見の物体と環境を対象にエージェントを評価する。