[論文レビュー] CoDraw: Collaborative Drawing as a Testbed for Grounded Goal-driven Communication

Jin-Hwa Kim, Nikita Kitaev+6 more|arXiv (Cornell University)|Dec 15, 2017

Multimodal Machine Learning Applications参考文献 63被引用数 14

ひとこと要約

CoDrawは、Tellerが自然言語でターゲットシーンを説明し、Drawerが仮想環境内の移動可能なクリッピアートを使ってそれを再構築する共同描画タスクを導入する。これにより、文脈的で目的志向の言語的コミュニケーションが可能になる。主な貢献は、エージェントが非自然なコードブックを学習するのを防ぐためのクロステーク訓練および評価プロトコルであり、人間の判断と強く相関する自動評価を可能にする。

ABSTRACT

In this work, we propose a goal-driven collaborative task that combines language, perception, and action. Specifically, we develop a Collaborative image-Drawing game between two agents, called CoDraw. Our game is grounded in a virtual world that contains movable clip art objects. The game involves two players: a Teller and a Drawer. The Teller sees an abstract scene containing multiple clip art pieces in a semantically meaningful configuration, while the Drawer tries to reconstruct the scene on an empty canvas using available clip art pieces. The two players communicate with each other using natural language. We collect the CoDraw dataset of ~10K dialogs consisting of ~138K messages exchanged between human players. We define protocols and metrics to evaluate learned agents in this testbed, highlighting the need for a novel "crosstalk" evaluation condition which pairs agents trained independently on disjoint subsets of the training data. We present models for our task and benchmark them using both fully automated evaluation and by having them play the game live with humans.

研究の動機と目的

• 言語、知覚、行動を統合した文脈的で目的志向のコミュニケーションのためのテストベッドを開発すること。
• エージェントが自然言語を通じて共同で視覚的再構築の目標を達成する方法を研究すること。
• 訓練中にエージェントが非自然な共有コードブックを学習するのを防ぐ挑戦に取り組むこと。
• 一般化と自然言語の使用を保証するクロステーク評価プロトコルを設計すること。
• 自動評価指標と人間評価の両方を用いてモデルをベンチマーク化し、自動評価の信頼性を検証すること。

提案手法

• CoDrawタスクは、ターゲットシーンを確認するTellerと、クリッピアートオブジェクトを用いて空のキャンバス上で再構築を行うDrawerという2人のエージェントから構成される。
• 通信は自然言語で行われ、Tellerがターゲットシーンを説明し、Drawerがその説明を解釈してクリッピアートを配置・方向転換・サイズ変更する操作を実行する。
• 各ステップでシーンと対話履歴を含む、約10,000件の対話と約138,000件のメッセージから成るデータセットを人間同士の対話から収集した。
• クリッピアートシーンの類似度メトリクスにより、最終段階および中間段階の再構築品質を自動で評価できる。
• TellerとDrawerが訓練データの別々のサブセットで学習するクロステーク訓練プロトコルを導入した。これにより、共謀を防ぎ、自然言語の使用を促進する。
• 自動評価指標とライブの人間ペアリングによる評価を通じてモデルを評価した。その結果、自動評価と人間評価の間に強い相関が見られた。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、知覚・言語・行動を含む文脈的で共同作業のタスクにおいて、効果的にコミュニケーションを学習できるか？
• RQ2 訓練中にエージェントが非自然な、事前に合意されたコードブックを学習するのをどうやって防げるか？
• RQ3 クロステークプロトコル下での自動評価は、共同通信タスクにおける人間水準のパフォーマンスを信頼性高く反映するか？
• RQ4 CoDrawのような長時間にわたる、文脈に依存する通信タスクにおける主な失敗モードは何か？
• RQ5 模倣学習と強化学習は、文脈的対話における推論と計画をどの程度向上させられるか？

主な発見

• クロステーク訓練および評価プロトコルにより、エージェントが非自然なコードブックを学習するのを効果的に防ぎ、コミュニケーションが自然言語に根ざしたままであることが保証された。
• クロステークプロトコル下での自動評価は、人間評価と強く相関しており、人間の判断の信頼できる代理としての有効性が検証された。
• 強化学習で微調整したscene2seq Tellerモデルは、模倣学習ベースラインとルールベースの最近傍探索モデル（類似度メトリクスでそれぞれ2.69および3.21）を上回り、類似度メトリクスで3.65のスコアを達成した。
• 人間Tellerのパフォーマンスは類似度スコア4.17を記録したが、最良のモデルペア（scene2seq Teller + 最良のDrawer）は3.65に留まり、文脈的推論と長期的計画のギャップが示された。
• Tellerの一般的な誤りには、存在しないオブジェクトを参照すること（ベースラインで5つのテストシーンで11回）、重複や記述の省略があった。これらは補助損失とRL微調整によって軽減された。
• Drawerモデルは、空中に帽子を置くなど意味的に整合性のない配置を頻繁にした。これは空間的および関係的推論における課題を示している。