[論文レビュー] Why Build an Assistant in Minecraft?

Arthur Szlam, Jonathan Gray+12 more|arXiv (Cornell University)|Jul 22, 2019

Reinforcement Learning in Robotics参考文献 95被引用数 9

ひとこと要約

本論文では、Minecraft環境内にオープンソースでインタラクティブなAIアシスタントを構築することで、実世界に近い文脈に即した自然言語理解とインタラクティブな学習の研究を進める。Minecraftの構造的でルールベースの世界と豊富な人間主導の対話インタラクションを活用することで、自然言語指示と複数回の対話から、サンプル効率的かつ生涯にわたる学習が可能となり、インタラクティブなAIエージェントを研究するための現実的で扱いやすいテストベッドを提供する。

ABSTRACT

In this document we describe a rationale for a research program aimed at building an open "assistant" in the game Minecraft, in order to make progress on the problems of natural language understanding and learning from dialogue.

研究の動機と目的

• 複雑で現実世界に近い環境における自然言語対話からの学習の課題に、制御可能でインタラクティブなプラットフォームとしてMinecraftを用いることにより対処すること。
• AIエージェントが構造的で多様なタスク空間における複数回の対話、デモンストレーション、フィードバックから、どのように学習するかを研究すること。
• 個々のユーザーの言語パターンやタスク分布に時間とともに適応することで、サンプル効率的かつ生涯にわたる学習を可能にすること。
• モジュラーで自己改善可能なAIシステムをサポートする明確なインターフェースを持つ、オープンで拡張可能な研究プラットフォームを提供すること。
• 特許権のある仮想アシスタントの限界を克服し、インタラクティブエージェント研究のための公開可能で拡張可能なテストベッドを提供すること。

提案手法

• 自然言語理解、対話管理、行動実行をMinecraft環境内で統合するモジュラーでインタラクティブなアシスタントシステムを設計すること。
• 有限なブロックタイプと工作ルールを持つ3次元ボクセルベースの世界を用いて、学習に適した規則的で予測可能なタスク空間を構築すること。
• プレイヤーがテキストチャットを通じてアシスタントと対話することで、自然言語の指示とフィードバックを提供する人間主導の設定を実装すること。
• プレイヤーとAIエージェントを接続するフレームワーク（CraftAssist）を開発し、対話ログを記録し、学習と評価のためのデータ収集を支援すること。
• プログラム合成と意味解析の技術を活用して、自然言語の指示をMinecraft内での実行可能な行動や計画に変換すること。
• 個々のユーザーとの繰り返しの対話に基づき、理解力と行動を適応的に変化させることで、生涯にわたる学習を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 AIエージェントは、Minecraftのような複雑でオープンエンドな環境において、多様な自然言語指示をどのように理解し、実行できるか？
• RQ2 対話ベースのインタラクションは、インタラクティブな学習におけるサンプル効率性とタスク一般化をどの程度向上させ得るか？
• RQ3 個々のユーザーの好みや対話履歴に基づいて、アシスタントはどのように行動や自然言語理解を時間とともに適応させるか？
• RQ4 Minecraftにおける知覚的規則性と環境的制約は、より効率的かつ強固な言語の文脈に即した理解をどのように促進するか？
• RQ5 モジュラーで自己改善可能なAIシステムは、公開可能でインタラクティブなシミュレーションプラットフォーム上で、効果的に訓練および評価可能か？

主な発見

• Minecraft環境は、文脈に即した自然言語理解とインタラクティブな学習を研究するための豊富で構造的かつインタラクティブなプラットフォームを提供する。
• Minecraftのタスク空間は、有限なブロックタイプ、物理法則、一般的な工作パターンによって制限されており、オープンエンドな現実世界の設定よりも学習がより扱いやすい。
• テキストチャットを通じた人間主導の対話は、インタラクティブエージェントの学習に適した多様で自然な言語の指示とフィードバックのスケーラブルな供給源を提供する。
• フレームワークは生涯にわたる学習をサポートしており、アシスタントが個々のユーザーの言語やタスクの好みに時間とともに適応できる。
• CraftAssist（https://github.com/facebookresearch/craftassist）のオープンソースリリースにより、制御可能でありながら現実的な環境でインタラクティブなAIエージェントの訓練・評価・デプロイのための再利用可能なインfraを提供する。
• 本アプローチにより、静的データセットを超えた対話的で複数回の学習を可能にするプログラム合成と意味解析の研究が可能になる。