[論文レビュー] CraftAssist: A Framework for Dialogue-enabled Interactive Agents

Jonathan Gray, Kavya Srinet+7 more|arXiv (Cornell University)|Jul 19, 2019

Multi-Agent Systems and Negotiation参考文献 38被引用数 18

ひとこと要約

CraftAssist は、Minecraft における対話型エージェントのためのモジュラーで対話対応のフレームワークを提供し、ゲーム内チャットと構造化されたタスク実行を通じて人間とボットの協働を可能にします。オープンソースのツール、アノテート済みデータ（2,586軒の家と意味解析）およびパイプラインアーキテクチャを提供し、開放的で長尾型のタスク分布における自然言語理解と人間との対話からの学習を研究するための基盤を提供します。

ABSTRACT

This paper describes an implementation of a bot assistant in Minecraft, and the tools and platform allowing players to interact with the bot and to record those interactions. The purpose of building such an assistant is to facilitate the study of agents that can complete tasks specified by dialogue, and eventually, to learn from dialogue interactions.

研究の動機と目的

• Minecraftにおいて自然言語コマンドを理解し実行できる柔軟でインタラクティブなボットアシスタントを開発すること。
• 人間-ボット対話データの収集とラベリングを可能にするプラットフォームを提供することで、対話による学習を経験するエージェントの研究を可能にすること。
• モジュラーで拡張可能なフレームワークを通じて、開放的で長尾型のタスク分布における状況依存的自然言語理解の研究を支援すること。
• コード、データセット、データ収集およびボットデプロイメントのインfraを公開することで、共同研究を促進すること。

提案手法

• フレームワークはクライアント-サーバアーキテクチャを採用しており、Minecraftネットワークプロトコルを介してボットをMinecraftサーバーに接続することで、シームレスなマルチプレイヤー相互作用を実現しています。
• 自然言語理解、記号的ワールドステート追跡、およびアクション実行の各モジュールを別々に処理するパイプラインアーキテクチャを実装しています。これらのモジュールはリレーショナルデータベースを用いて実装されています。
• ボットは意味解析器を介して自然言語コマンドを解釈し、発話内容を論理形式にマッピングし、事前に定義されたアクション辞書を用いて実行します。
• モジュラー設計により、パーサー、ワールドステートマネージャー、アクションエグゼキューターなどのコンponentを独立して開発・テストできます。
• 人間の対話（コマンド、アクション、再表現）を記録することで、意味解析および対話学習のためのトレーニングデータを生成しています。
• 家屋の部品（例：壁、屋根）のラベリングおよび再表現されたコマンドテンプレートの生成を可能にするツールを提供し、データ拡張を支援しています。

実験結果

リサーチクエスチョン

• RQ1 Minecraftのような複雑で開放的な環境において、多様で自然に発生する言語コマンドを理解し実行できるインタラクティブエージェントはどのように構築できるか？
• RQ2 スケーラブルでモジュラーな開発を可能にする設計パターンとは何か？ これにより、新しい機能を追加可能な対話型エージェントを拡張可能にする。
• RQ3 意味解析およびタスク実行の学習を支援するため、人間-ボット対話データを体系的に収集・構造化する方法は何か？
• RQ4 パイプラインベースのモジュラーアーキテクチャとエンドツーエンド学習アプローチの間には、どのようなトレードオフがあるか？
• RQ5 記号的メモリおよび構造化されたワールドステート表現は、インタラクティブエージェントにおける解釈可能性および拡張性をどのように向上させるか？

主な発見

• フレームワークは、Minecraftにおける人間とボットの協働を成功裏に実現しており、ボットはゲーム内チャットを通じて自然言語コマンドに応答し、複雑な建設タスクを遂行しています。
• 2,586軒の人が手作りした家屋と詳細なアノテーションが公開されており、意味解析モデルのスケールアップトレーニングおよび評価を可能にしています。
• モジュラーなアーキテクチャにより、新しいアクションの追加や意味解析器の改善など、コンponentの独立した開発・拡張が可能になっています。
• システムは大規模なデータ収集を可能としており、テンプレートの再表現や論理形式のマッピングを含むデータを収集でき、将来的なエンドツーエンド学習アプローチを支援しています。
• リレーショナルデータベースを用いた記号的メモリモデルにより、デバッグの容易化、外部知識（例：スケッチ図）の統合、信頼性の高い検索操作が可能になっています。
• プラットフォームはオープンソースとしてリリースされており、コード、データ、インfraが公開され、コミュニティ主導のインタラクティブエージェント研究を支援しています。