[論文レビュー] ALFWorld: Aligning Text and Embodied Environments for Interactive Learning

Mohit Shridhar, Xingdi Yuan+4 more|arXiv (Cornell University)|Oct 8, 2020

Multimodal Machine Learning Applications参考文献 57被引用数 27

ひとこと要約

ALFWorldは、エージェントが事前にTextWorldで言語ベースのポリシーを訓練できるようにする、並列でインタラクティブなテキストベースおよび身体的シミュレーション環境を導入する。BUTLERエージェントは、抽象的で言語ベースの環境で示範学習により訓練され、視覚のみの訓練よりも7倍速く、より優れたパフォーマンスで、未確認の身体的環境へゼロショット一般化を達成する。

ABSTRACT

Given a simple request like Put a washed apple in the kitchen fridge, humans can reason in purely abstract terms by imagining action sequences and scoring their likelihood of success, prototypicality, and efficiency, all without moving a muscle. Once we see the kitchen in question, we can update our abstract plans to fit the scene. Embodied agents require the same abilities, but existing work does not yet provide the infrastructure necessary for both reasoning abstractly and executing concretely. We address this limitation by introducing ALFWorld, a simulator that enables agents to learn abstract, text based policies in TextWorld (Côté et al., 2018) and then execute goals from the ALFRED benchmark (Shridhar et al., 2020) in a rich visual environment. ALFWorld enables the creation of a new BUTLER agent whose abstract knowledge, learned in TextWorld, corresponds directly to concrete, visually grounded actions. In turn, as we demonstrate empirically, this fosters better agent generalization than training only in the visually grounded environment. BUTLER's simple, modular design factors the problem to allow researchers to focus on models for improving every piece of the pipeline (language understanding, planning, navigation, and visual scene understanding).

研究の動機と目的

• 新しい環境に一般化する能力に欠ける身体的エージェントのギャップを埋めるために、抽象的で言語ベースの環境で事前訓練を可能にする。
• テキストベースのインタラクションと接地された視覚的物理的環境を結ぶ、並列で整合性のあるシミュレーションフレームワークを構築する。
• テキスト空間における抽象的推論が、身体的タスク実行における一般化と効率性を向上させることを示す。
• 言語理解、計画、実行を分離するモジュラーなエージェントアーキテクチャ（BUTLER）を設計し、個別のモデル改善を可能にする。
• テキストベースの環境での事前訓練が、視覚的物理的環境での訓練よりも優れたパフォーマンスとより速い収束をもたらすことを検証する。

提案手法

• ALFWorldはTextWorldとALFREDを統合したユニフィードシミュレータであり、並列なテキストおよび視覚モダリティを備え、抽象的および身体的両形式での整合的インタラクションを可能にする。
• BUTLERエージェントは、まずテキストベースのTextWorld環境で示範学習を用いて高レベルの言語ベースポリシーを学習する。
• TextWorldで生成された高レベルのテキストアクションは、ナビゲーターや視覚的シーンパーサーを含むモジュラーパイプラインを通じて低レベルの物理的アクションにマッピングされる。
• エージェントはテンプレートベースの状態推定器を用い、テキスト世界におけるオブジェクトの位置と状態を追跡し、構造的推論を可能にする。
• システムはゼロショット転送をサポートする：テキストで学習したポリシーは、微調整なしに未確認の身体的タスクに直接適用可能である。
• このフレームワークは、将来的にシンボリックな状態記述を置き換える学習済みダイナミクスモデルを含むエンドツーエンド訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 抽象的でテキストベースの環境での事前訓練が、視覚環境での直接訓練と比較して、未確認の身体的タスクへの一般化を向上させるか？
• RQ2 言語ベースポリシーのパフォーマンスと訓練効率は、接地された視覚的物理的環境へどのように転送されるか？
• RQ3 言語理解、計画、実行を分離するモジュラーなエージェントアーキテクチャが、一般化と保守性をどの程度向上させるか？
• RQ4 シンボリックで言語に富んだ空間での推論は、視覚ベースの状態表現と比較して、視覚言語の接地に良い事前知識を提供するか？
• RQ5 テキストベースのポリシー・エンジンは、新しい環境における低レベルのロボットコントローラーのための転送可能な高レベルの部分目標を生成できるか？

主な発見

• TextWorldで事前訓練されたBUTLERは、ALFREDの未確認の身体的タスクへゼロショット一般化を達成し、抽象的ポリシー転送の有効性を示している。
• テキストベースの環境での訓練は、視覚的物理的環境でゼロから訓練するのと比較して7倍速く、最終的なパフォーマンスも優れている。
• TextWorldで少ないゲームで訓練したエージェントは、すぐに過学習を起こし、評価で失敗するが、より多くのゲームで訓練したエージェントは、確認済みおよび未確認の両設定でより良い一般化を達成する。
• BUTLERのモジュラー設計により、ナビゲーターまたは状態推定器などのコンponentsを個別にアップグレードでき、将来的なエンドツーエンド学習が可能になる。
• 抽象的テキスト世界での事前訓練は、エキスパートのデモンストレーションのコーパスや、視覚世界でゼロから訓練するのと比較して、より優れた一般化をもたらす。
• テキスト世界と身体的世界の整合性により、エージェントはオブジェクトの機能や事前条件といった意味的事前知識を学習でき、新しい環境における頑健な推論を支援する。