[論文レビュー] Interpretable agent communication from scratch (with a generic visual processor emerging on the side)

Roberto Dessì, Eugene Kharitonov+1 more|arXiv (Cornell University)|Jun 8, 2021

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 9

ひとこと要約

本論文では、自然画像内の参照的コミュニケーションのための離散的で解釈可能な通信プロトコルを、対照的学習にインspiredされた設定のもとで、スクラッチから2つの深層ニューラルネットワークを訓練することを提案する。エージェントは、未学習のカテゴリを含む物体を、出現する記号によって参照するよう学習する一方で、SOTAの自己教師付きモデル（例：SimCLR）と同等の高品質な汎用視覚特徴を同時に開発する。

ABSTRACT

As deep networks begin to be deployed as autonomous agents, the issue of how they can communicate with each other becomes important. Here, we train two deep nets from scratch to perform realistic referent identification through unsupervised emergent communication. We show that the largely interpretable emergent protocol allows the nets to successfully communicate even about object types they did not see at training time. The visual representations induced as a by-product of our training regime, moreover, show comparable quality, when re-used as generic visual features, to a recent self-supervised learning model. Our results provide concrete evidence of the viability of (interpretable) emergent deep net communication in a more realistic scenario than previously considered, as well as establishing an intriguing link between this field and self-supervised visual learning.

研究の動機と目的

• 事前学習済みの視覚特徴を一切用いずに、完全にエンドツーエンドで解釈可能な出現通信プロトコルを、深層エージェント間で開発すること。
• 参照ゲームにおける出現通信が、高品質な汎用視覚表現をもたらすかどうかを調査すること。
• プロトコルの未学習の物体カテゴリへの一般化能力と、人間による解釈可能性を評価すること。
• 共通の学習目的を通じて、出現通信と自己教師付き視覚表現学習を統合すること。
• 現実的で大規模な画像環境において、離散的で解釈可能な通信がスクラッチから出現できることを示すこと。

提案手法

• エージェントは、大規模なデータセットからの自然画像を用いて参照的コミュニケーションゲームをプレイし、事前学習済みの視覚エンコーダーを一切使用しない。
• 対照的学習の目的関数を用いて、送信者が異なるターゲットオブジェクトに対して異なる記号を生成するよう促し、受信者はドミナントオブジェクトの集合から正しいターゲットを特定する必要がある。
• 自己教師付き学習からインspiredした入力データの増幅を適用して、耐性と一般化性能を向上させる。
• エージェントが学習した視覚表現を抽出し、下流の分類ベンチマークで汎用特徴として評価する。
• 記号とオブジェクトの対応関係と、カテゴリ間での一貫性を検討することで、通信プロトコルの解釈可能性を分析する。
• ECCフレームワークを用いて実装され、ランダム初期化からエンドツーエンドで訓練が行われる。

実験結果

リサーチクエスチョン

• RQ1 深層エージェントは、参照ゲームのパフォーマンスのみを学習信号として用いて、スクラッチから離散的で解釈可能な通信プロトコルを学習できるか？
• RQ2 通信学習中に学習された視覚表現は、下流のビジョンタスクにうまく一般化できるか？
• RQ3 出現通信プロトコルは、学習中に見られなかった物体カテゴリにも一般化できるか？
• RQ4 出現視覚特徴の品質は、SOTAの自己教師付き手法と比較してどの程度か？
• RQ5 出現通信プロトコルの解釈可能性はどの程度で、これは無教師画像アノテーションの一種と見なせるか？

主な発見

• エージェントは、訓練中に見られなかった物体カテゴリに対しても正確な参照的コミュニケーションを可能にする、離散的で部分的に解釈可能な通信プロトコルを成功裏に学習した。
• 出現視覚表現は、視覚特徴学習に特化した自己教師付き手法（例：SimCLR）と同等の分類性能を達成した。
• プロトコルはゼロショットの物体カテゴリに対しても一般化可能であり、記号が低レベルの画像特徴ではなく、意味的カテゴリを表していることが示された。
• 入力データの増幅を用いることで、通信と視覚表現学習の両方の耐性と品質が顕著に向上した。
• 通信学習の副産物として得られる視覚表現は高品質であり、複数のビジョンタスクに効果的に再利用可能である。
• 結果から、出現通信と自己教師付き視覚表現学習の間に強い関連性があることが示され、今後の統合において相乗効果が得られると示唆された。