[論文レビュー] Avoiding hashing and encouraging visual semantics in referential emergent language games

Daniela Mihai, Jonathon Hare|arXiv (Cornell University)|Nov 13, 2019

Language and cultural evolution参考文献 13被引用数 4

ひとこと要約

本稿は、画像ハッシュ化に依存せず視覚的意味を捉えるために、複数エージェント間の参照ゲームにおける顕在的コミュニケーションを促進する方法を調査する。入力の拡張（ノイズ、回転）を施し、自己教師あり回転予測タスクを追加することで、事前学習を用いずにエンド・ツー・エンドで訓練されたモデルが、意味的に根拠のある言語を学習できることを示している。回転予測の正確性は84%に達し、ハッシュに類する解決策に比べて意味的根拠の強い言語表現が得られている。

ABSTRACT

There has been an increasing interest in the area of emergent communication between agents which learn to play referential signalling games with realistic images. In this work, we consider the signalling game setting of Havrylov and Titov and investigate the effect of the feature extractor's weights and of the task being solved on the visual semantics learned or captured by the models. We impose various augmentation to the input images and additional tasks in the game with the aim to induce visual representations which capture conceptual properties of images. Through our set of experiments, we demonstrate that communication systems which capture visual semantics can be learned in a completely self-supervised manner by playing the right types of game.

研究の動機と目的

• 顕在的言語が画像ハッシュ化に依存せず、参照ゲームにおいて視覚的意味を捉えられるかどうかを調査すること。
• 事前学習済み、ランダム、エンド・ツー・エンドで学習されたなど、異なる視覚的特徴抽出器の重み設定が意味的根拠に与える影響を検討すること。
• 追加タスク（例：回転予測）をゲームに追加することで、より意味的に意味のあるコミュニケーションが促進されるかどうかを評価すること。
• 人間がアノテートした視覚的意味の情報が一切ない完全に自己教師ありの訓練手順が、意味的に根拠のある言語を生み出せるかどうかを検証すること。
• ノイズや回転などの入力レベルの拡張が、コミュニケーションシステムにおける視覚的意味の顕在化をどのように向上させるかを調査すること。

提案手法

• CIFAR-10の画像を用い、最大5トークンのメッセージ長を有するHavrylovとTitovの参照ゲームの変種を使用する。
• 離散的トークン生成にStraight-Through Gumbel-Softmaxを用い、正しく画像が選択されるようにするためのヘッジ損失を最大化する形でエンド・ツー・エンドのモデルを訓練する。
• 送信者の入力画像に対してのみ、色のジャマ（color jitter）、ランダムフリップ、グレースケール、ノイズ、90°回転のデータ拡張を適用する。
• 2番目のタスクとして、1人のエージェントが送信者の入力画像の回転角度を予測するようにし、オブジェクトレベルの理解を促進する。
• ImageNetで事前学習済みで固定、ランダム初期化で固定、エンド・ツー・エンドで学習されたなど、異なるCNN重み設定でモデルを訓練する。
• 送信者および受信者のCNNおよびLSTMの後にBatchNorm層を適用し、訓練の安定性と再現性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの視覚的特徴抽出器は、参照ゲームにおける顕在的言語が捉える視覚的意味をどの程度向上させるか？
• RQ2 ノイズや回転などの入力レベルの拡張は、画像ハッシュ化ではなく意味的に意味のある表現を学習するのをエージェントに促進できるか？
• RQ3 自己教師ありの回転予測タスクを追加することで、マルチタスク学習の枠組みにおいてより意味的に根拠のあるコミュニケーションが促進されるか？
• RQ4 完全に自己教師ありのエンド・ツー・エンド訓練手順が、何らの監視なしに概念的な視覚的性質を反映する顕在的言語を生み出せるか？
• RQ5 事前学習済み、ランダム、エンド・ツー・エンドで学習されたCNN重み初期化戦略の違いが、通信成功率と意味的根拠のバランスに与える影響は何か？

主な発見

• 事前学習済みで固定されたVGG-16特徴抽出器は、ノイズ拡張下で最高の通信成功率（92%）とトップ5正答率（99%）を達成し、強い意味的根拠を示した。
• 回転拡張を施したエンド・ツー・エンドで学習されたモデルは、92%の通信成功率と100%のトップ5正答率を達成し、事前学習なしでも意味的根拠のある言語が顕在化できることを示した。
• 回転予測タスクの追加により、送信者が予測する設定で84%の回転予測正確性が得られ、モデルがオブジェクトレベルの構造を認識していることが示唆された。
• ランダム初期化で固定されたCNNは、ノイズ拡張下で96%の通信成功率を達成し、タスクが困難な状況下では事前学習なしでも高い性能が顕在化できることを示した。
• 回転拡張下では、事前学習済みモデルの通信成功率がわずかに低下（83%）したため、事前学習が幾何的変換に対する耐性と矛盾する可能性があることが示唆された。
• 回転予測タスクを備えたエンド・ツー・エンドモデルは、ターゲットクラスの平均順位が43.41に達し、ハッシュベースの解決策よりも人間の視覚的意味の認識とより整合性があることが示された。