[論文レビュー] Context-Aware Planning and Environment-Aware Memory for Instruction Following Embodied Agents

Byeonghwi Kim, Jinyeon Kim+3 more|arXiv (Cornell University)|Aug 14, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文は、タスク関連のオブジェクトと環境状態を優先順位付けする文脈に配慮した計画（CAP）と、時間経過に伴うオブジェクト状態およびマスクを追跡する環境に配慮した記憶（EAM）を統合することで、指示従い性能を向上させる、エマーブドエージェントのための新規フレームワークCAEPAMを提案する。本手法は、ALFREDベンチマークにおいて、未学習の環境で最高性能を達成し、成功確率を最大10.70%向上させた。

ABSTRACT

Accomplishing household tasks requires to plan step-by-step actions considering the consequences of previous actions. However, the state-of-the-art embodied agents often make mistakes in navigating the environment and interacting with proper objects due to imperfect learning by imitating experts or algorithmic planners without such knowledge. To improve both visual navigation and object interaction, we propose to consider the consequence of taken actions by CAPEAM (Context-Aware Planning and Environment-Aware Memory) that incorporates semantic context (e.g., appropriate objects to interact with) in a sequence of actions, and the changed spatial arrangement and states of interacted objects (e.g., location that the object has been moved to) in inferring the subsequent actions. We empirically show that the agent with the proposed CAPEAM achieves state-of-the-art performance in various metrics using a challenging interactive instruction following benchmark in both seen and unseen environments by large margins (up to +10.70% in unseen env.).

研究の動機と目的

• 行動の結果や環境状態の変化の不十分なモデル化によるエマーブドエージェントの一般化性能の低さという課題に対処する。
• 意味的文脈（例：タスク関連のオブジェクト）を計画プロセスに組み込むことで、長時間スパンのタスク計画を改善する。
• 遮蔽や動的オブジェクト状態に起因する失敗を克服するため、オブジェクトの位置と視覚マスクを継続的に記憶することで対処する。
• 人為的に設計された計画テンプレートに依存せずに、未学習環境でも堅牢なオブジェクト相互作用を可能にする。
• 文脈的・環境的認識を活用することで、不要な探索や誤ったオブジェクト相互作用を削減し、エージェントの効率を向上させる。

提案手法

• 自然言語指示からタスク関連オブジェクト（文脈）を事前に予測する文脈に配慮した計画（CAP）を導入し、その後に部分的目標のシーケンスを生成する。
• CAPにおける部分的目標プランナを用いて、文脈オブジェクトのプレースホルダーを含む実行可能な行動シーケンスを生成し、すべての行動がタスクの核心オブジェクトと整合することを保証する。
• 遮蔽があっても、空間的位置とインスタンスマスクを含むオブジェクト状態を保存する環境に配慮した記憶（EAM）を実装する。
• 過去の観測から保持されたオブジェクトマスクを活用することで、EAMにおける後向きオブジェクト認識を可能にし、現在の認識が失敗しても相互作用を継続可能にする。
• EAMにオブジェクトの再配置追跡を統合し、すでに操作済みのオブジェクトに対して繰り返し相互作用を避けることで、冗長な行動によるタスク失敗を低減する。
• 文脈に配慮した計画と継続的環境記憶を統合したエンド・ツー・エンドで学習可能なエージェントアーキテクチャを構築し、意思決定の向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 計画段階に意味的文脈（タスク関連オブジェクト）を統合することで、エマーブドエージェントにおける長時間スパンのタスク成功が著しく向上するか？
• RQ2 オブジェクト状態と視覚マスクの継続的記憶が、遮蔽や動的環境に起因する失敗をどの程度低減するか？
• RQ3 人為的に設計されたテンプレートに依存しない既存のベースラインと比較して、提案手法は未学習環境にどの程度一般化できるか？
• RQ4 環境に配慮した記憶が、すでに操作済みのオブジェクトに対して繰り返し相互作用を防ぎ、タスク効率を向上させられるか？
• RQ5 文脈に配慮した計画と環境に配慮した記憶の組み合わせが、多様な指示従いベンチマークにおいて、成功確率とゴール条件付き成功率に測定可能な向上をもたらすか？

主な発見

• CAPEAMは、ALFREDベンチマークで最先端の性能を達成し、未学習環境での成功確率が従来手法と比較して最大10.70%向上した。
• CAPを搭載したエージェントは、タスク関連の文脈に焦点を当てるため、誤ったオブジェクト相互作用（例：時計とボウルを必要とするタスクでナイフを誤って操作する）を顕著に減少させた。
• EAMモジュールは、以前に保存されたマスクを保持・再利用することで、遮蔽されたオブジェクト（例：時計に覆われたボウル）に対しても成功した相互作用を可能にし、視覚的遮蔽による失敗を防いだ。
• EAMにおけるオブジェクト再配置追跡により、すでに移動済みのオブジェクト（例：ティッシュボックス）に対して繰り返し相互作用を回避し、ベースラインエージェントで一般的なタスク破壊エラーを低減した。
• CAPEAMは、学習済みおよび未学習環境の両方で既存手法を上回り、人為的に設計された計画テンプレートに依存しない強力なゼロショット一般化を示した。
• 本手法は、CVPR 2023で開催されたEmbodied AIワークショップにおける一般化言語グラウンディングエージェントチャレンジで第1位を獲得し、その堅牢性と一般化能力を裏付けた。