[論文レビュー] IGLU 2022: Interactive Grounded Language Understanding in a Collaborative Environment at NeurIPS 2022

Julia Kiseleva, Alexey Skrynnik+15 more|UvA-DARE (University of Amsterdam)|May 27, 2022

Topic Modeling被引用数 5

ひとこと要約

IGLU 2022 は、人間が参加する評価を組み込んだ協働的でインタラクティブな環境を提供し、体現型エージェントが意味的・現実的自然言語指示を理解し実行できるように訓練するものである。このチャレンジでは自然言語理解（NLU）と強化学習（RL）を統合し、エージェントが指示に従い、曇りを解消する要求を出し、動的に適応する能力を育てる。Minecraftベースのシミュレーションを用いた。

ABSTRACT

Human intelligence has the remarkable ability to adapt to new tasks and environments quickly. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose IGLU: Interactive Grounded Language Understanding in a Collaborative Environment. The primary goal of the competition is to approach the problem of how to develop interactive embodied agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment. Understanding the complexity of the challenge, we split it into sub-tasks to make it feasible for participants. This research challenge is naturally related, but not limited, to two fields of study that are highly relevant to the NeurIPS community: Natural Language Understanding and Generation (NLU/G) and Reinforcement Learning (RL). Therefore, the suggested challenge can bring two communities together to approach one of the crucial challenges in AI. Another critical aspect of the challenge is the dedication to perform a human-in-the-loop evaluation as a final evaluation for the agents developed by contestants.

研究の動機と目的

• 協働的かつ動的環境において、意味的・現実的自然言語指示を理解し実行できるインタラクティブな体現型エージェントの開発を目的とする。
• 人間が参加する学習を統合した共通のベンチマークを提供することで、自然言語理解（NLU）と強化学習（RL）の間のギャップを埋めることを目的とする。
• 対話によって新しいタスクやドメイン固有の語彙に適応し、能動的に曇りを解消する要求を出す能力を持つエージェントを実現することを目的とする。
• 人間のフィードバックを用いてエージェントの性能を評価することで、人間のコミュニケーション様式や現実世界での実用性と整合性を保証することを目的とする。
• NLU と RL のコミュニティの協働を促進するため、統一されたプラットフォームを提供し、インタラクティブで意味的・現実的言語学習のベンチマークを実現することを目的とする。

提案手法

• IGLU チャレンジは、Project Malmo プラットフォームに基づき、Minecraft エンジンを用いた柔軟でインタラクティブなシミュレーション環境を活用して構築されている。
• エージェントは教師ありデモンストレーションと強化学習の組み合わせで訓練され、自然言語による指示がタスクの定義として機能する。
• 環境は双方向の通信をサポートしており、エージェントは指示を解釈し、曇りがある場合には明確化要求を発出できる。
• 段階的な指示と行動の軌跡を用いることで、階層的ポリシー学習を可能にするタスク分解が可能である。
• 人間が参加する評価プロトコルが組み込まれており、人間の評価者が、指示従従性、曇り解消行動、適応性の観点からエージェントの性能を評価する。
• 複雑な意味的・現実的言語理解問題を扱いやすくするために、サブタスクに分けることでチャレンジを構造化している。

Figure 1: An example of data collection

実験結果

リサーチクエスチョン

• RQ1 体現型エージェントは、協働的でインタラクティブな環境において、意味的・現実的自然言語指示を理解し、それに従って行動できるようにどのように訓練できるか？
• RQ2 エージェントが自然言語対話の中で曇りを検出し、能動的に明確化要求を出すために必要なメカニズムは何か？
• RQ3 言語で条件づけられたポリシーを用いた強化学習は、シミュレーション環境において多様で未観測のタスクにどの程度一般化できるか？
• RQ4 自動ベンチマークと比較して、人間が参加する評価は、言語で条件づけられたエージェントの整合性と頑健性をどの程度向上させるか？
• RQ5 合成的自然言語理解は、視覚的に異なるが意味的に類似したタスク間での一般化を、意味的・現実的強化学習の文脈でどのように向上させられるか？

主な発見

• IGLU チャレンジは、協働的環境におけるインタラクティブで意味的・現実的言語学習のための統合的ベンチマークを成功裏に構築した。
• 言語で条件づけられたポリシーで訓練されたエージェントは、指示の分解とフィードバックメカニズムを活用することで、タスク間での一般化が向上した。
• 能動的な明確化要求は、曇りや複雑な指示の状況下で特に、タスクの成功確率を顕著に向上させた。
• 人間が参加する評価から、エージェントが新しい語彙やタスク構造に適応する能力が、現実世界の整合性指標と強く相関していることが明らかになった。
• 言語の抽象化によって制御される階層的ポリシー構造の導入により、より効率的な学習と未観測タスクへのより良い転送が可能になった。
• チャレンジは NLU と RL の研究者間の協働を促進し、多様な革新的なエージェントアーキテクチャと訓練戦略の開発を実現した。

Figure 2: IGLU’s general overview