[論文レビュー] Learning to Draw: Emergent Communication through Sketching

Daniela Mihai, Jonathon Hare|ePrints Soton (University of Southampton)|Jun 3, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 5

ひとこと要約

本論文では、参照ゲームにおいてニューラルネットワークエージェントが図を用いて視覚的概念を伝えることを学ぶ、微分可能スケッチベースの通信フレームワークを提案する。知覚損失を組み込むことで、エージェントは人間が解釈可能なスケッチを生成しつつも高いタスクパフォーマンスを維持する。これは、マルチエージェントシステムにおける記号的言語の自己説明可能な代替手段として、視覚的コミュニケーションが出現しうることを示している。

ABSTRACT

Evidence that visual communication preceded written language and provided a basis for it goes back to prehistory, in forms such as cave and rock paintings depicting traces of our distant ancestors. Emergent communication research has sought to explore how agents can learn to communicate in order to collaboratively solve tasks. Existing research has focused on language, with a learned communication channel transmitting sequences of discrete tokens between the agents. In this work, we explore a visual communication channel between agents that are allowed to draw with simple strokes. Our agents are parameterised by deep neural networks, and the drawing procedure is differentiable, allowing for end-to-end training. In the framework of a referential communication game, we demonstrate that agents can not only successfully learn to communicate by drawing, but with appropriate inductive biases, can do so in a fashion that humans can interpret. We hope to encourage future research to consider visual communication as a more flexible and directly interpretable alternative of training collaborative agents.

研究の動機と目的

• 出現するマルチエージェント通信における記号的言語の代替手段として、視覚的コミュニケーションがより解釈可能であるかを検討すること。
• 微分可能スケッチが、人間にとっても解釈可能でありながら効果的な通信プロトコルを学習可能かどうかを調査すること。
• 誘導的バイアスと損失関数が、出現する視覚的コミュニケーションの形と解釈可能性に与える影響を検討すること。
• 人間参加者が、参照ゲームの設定下で訓練されたエージェントが生成したスケッチを実際に解読できるかどうかを評価すること。
• 人工エージェント間における視覚的コミュニケーションの進化—原始的なスケッチから図柄や書記文字へ—を研究する基盤を築くこと。

提案手法

• エージェントは深層ニューラルネットワークによってパラメータ化され、連続的な曲線としてストロークを生成する微分可能な描画プロセスを用いる。
• フレームワークは、1人のエージェントがターゲット画像のスケッチを描き、もう1人が候補画像群から正しいものを当てる参照通信ゲームを採用する。
• 訓練には、当てる精度を最大化するためのゲーム損失と、正解画像との視覚的類似性を向上させるための知覚損失を組み合わせた損失関数が使用される。
• 視覚エンコーダーに形状バイアスなどの誘導的バイアスを導入することで、より記号的で解釈可能なスケッチへとエージェントを誘導する。
• 知覚損失は、事前学習済みの畳み込みニューラルネットワーク（例：VGG）の特徴量を用いて計算され、生成されたスケッチの構造的・意味的類似性を促進する。
• 実験では、標準的なゲーム損失、知覚損失、オブジェクト指向のゲーム、および分散器の数の変化といった設定の下でのパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、人間の明示的監視がなくても、参照ゲームにおいてスケッチを通じて効果的に通信を学習できるか？
• RQ2 訓練目的に知覚損失を追加することで、タスクパフォーマンスを劣化させることなく、出現スケッチの人間解釈性が向上するか？
• RQ3 ゲームの目的を変化させること（例：オブジェクト指向 vs. 画像ベース）が、出現する視覚的コミュニケーションの形に与える影響は何か？
• RQ4 視覚システム内の誘導的バイアスが、スケッチの記号的または図柄的性質にどの程度影響を与えるか？
• RQ5 知覚損失で訓練されたエージェントが生成したスケッチを、現実世界の相互作用設定で人間が実際に解読できるか？

主な発見

• ゲーム損失のみで訓練されたエージェントが生成したスケッチは人間にとって解釈不能であり、人間の当てるタスクでの正答率は8.3％にとどまり（ランダムチャンス：10％）、低い水準にとどまった。
• 知覚損失を追加することで、人間の当てる正答率は38.3％に上昇し、分類識別率は55.6％にまで上昇し、いずれもランダムチャンスをはるかに上回った。
• 分散器の数を50に増加した場合でも、知覚損失で訓練されたエージェントのスケッチ認識正答率は37.2％、分類識別率は47.8％を維持し、高い性能を示した。
• オブジェクト指向のゲームでは、より記号的で抽象的なスケッチが得られ、タスク設計が出現する視覚的コミュニケーションの形に影響を与えることが示された。
• 視覚システムに形状バイアスを導入することでスケッチの解釈性が向上した。これは、内部の誘導的バイアスが通信スタイルに影響を与えることを示している。
• 人間は、知覚損失で訓練されたエージェントが生成したスケッチを実際に解読することができ、通信プロトコルが直接解釈可能で、人間-エージェント相互作用に利用可能であることを示した。