[論文レビュー] Interactive Grounded Language Understanding in a Collaborative Environment: IGLU 2021

Julia Kiseleva, Ziming Li+19 more|UvA-DARE (University of Amsterdam)|May 5, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

IGLU 2021 は、リアルタイムの対話とタスク実行を通じて、文脈に根ざした自然言語指示に従うように学習するインタラクティブエージェントの共同環境を提供する。コンペティションの結果、ハイブリッドおよびマルチステージモデルのアプローチがベースラインを著しく上回り、上位チームはタスク完了率36.5%を達成し、人間評価の整合性も高い水準を示した。

ABSTRACT

Human intelligence has the remarkable ability to quickly adapt to new tasks and environments. Starting from a very young age, humans acquire new skills and learn how to solve new tasks either by imitating the behavior of others or by following provided natural language instructions. To facilitate research in this direction, we propose \emph{IGLU: Interactive Grounded Language Understanding in a Collaborative Environment}. The primary goal of the competition is to approach the problem of how to build interactive agents that learn to solve a task while provided with grounded natural language instructions in a collaborative environment. Understanding the complexity of the challenge, we split it into sub-tasks to make it feasible for participants.

研究の動機と目的

• コラボラティブで動的な環境において、文脈に根ざした自然言語指示に従ってタスクを実行できるインタラクティブエージェントの開発を目的とする。
• エージェントが能動的に明確化を求める・新しい指示に適応する方法を学び、人間らしい協働を模倣することを目的とする。
• 文脈に根ざした言語理解と強化学習エージェントのトレーニングおよび評価をサポートするベンチマーク環境の構築を目的とする。
• 身体的なエージェントにおける自然言語理解、視覚的認識、意思決定の統合を調査することを目的とする。
• 現実世界の整合性を確保するため、自動評価指標と人間を含むフィードバック評価の両方を用いてエージェントのパフォーマンスを評価することを目的とする。

提案手法

• IGLU環境は、エージェントが観測として自然言語指示を受け取り、3D世界と対話して目的の構造物を構築するgym風の環境として構築された。
• ベースラインおよび競合ソリューションとして、APE-X、Rainbow、IMPALA、Dreamerを用いた深層強化学習によるトレーニングが実施された。
• 優勝チームはハイブリッドアプローチを採用し、チャットデータから得られる色の分布を学習・サンプリングすることで、ランダム探索の性能を向上させた。
• NeuroAIチームは3段階の複合モデルを採用した：微調整されたDistil-RoBERTaベースのテキストからターゲットグリッドを予測するモデル、視覚的表現のための畳み込み自己符号化器、クロスアテンションポリシー部。
• ポリシーネットワークは、画像埋め込み（キー／バリュー）と予測されたゴールグリッド（クエリ）の間でクロスアテンションを実行し、PPOを用いてアクションおよび価値ヘッドを訓練した。
• トレーニングセットの拡張と多様な構築タスクにおける汎化性能の向上を目的として、カリキュラム学習戦略が適用された。

実験結果

リサーチクエスチョン

• RQ1 コラボラティブでインタラクティブな環境において、エージェントはどのように文脈に根ざした自然言語指示を理解し、実行できるようにトレーニングされるべきか？
• RQ2 能動的な明確化やフィードバックの求める行動は、タスク完了率と耐性の向上にどのように寄与するか？
• RQ3 複数モodalなモデル（言語、視覚、行動計画）は、複雑な構築タスクにおいて単純なベースラインと比較してどの程度優れているか？
• RQ4 事前学習済みの言語および視覚モデルを微調整することで、ゼロショットまたはフェイワショットの適応がどの程度達成可能か？
• RQ5 自動評価指標は、自然言語指示の従順性に関する人間の判断とどの程度相関しているか？

主な発見

• ハイブリッドインテリジェンスチームは、サイレントビルダー・トラックで最高の自動タスク完了率36.5%を達成し、他の参加チームを上回った。
• NeuroAIチームは2位にランクされ、34.0%の完了率を記録。マルチステージでアテンションに基づくポリシー・アーキテクチャを用いた強力なパフォーマンスを示した。
• 人間評価では自動評価結果が確認され、上位チームは平均得票率0.88、Krippendorffの一致係数0.56を達成した。
• モデルフリーのエージェント（IMPALA）は2000万ステップで正規化平均報酬12を達成したが、モデルベースのエージェント（Dreamer）はわずか200万ステップで同等のパフォーマンスに到達した。
• APEXおよびRainbowを用いたグリッドベースのベースラインは、5ブロックのL字型構造を構築するような単純なタスクしか解けなかった。
• コンペティションの結果、インタラクティブで文脈に根ざした環境における信頼性の高いタスク実行には、言語理解と視覚的認識、行動計画の統合が不可欠であることが明らかになった。