[論文レビュー] Shaping representations through communication: community size effect in artificial learning systems

Olivier Tieleman, Angeliki Lazaridou+3 more|arXiv (Cornell University)|Dec 12, 2019

Language and cultural evolution参考文献 13被引用数 13

ひとこと要約

本稿では、複数のエンコーダーとデコーダーが反復ごとにランダムにペairingされるコミュニティベースのオートエンコーダー（CbAEs）を提案する。これにより、より抽象的で概念中心の表現が得られる。コミュニティのサイズを大きくすることで、個別的な符号化の偏りが軽減され、人間の特徴基準と整合性が高まり、概念カテゴリの線形分類器性能が向上する。

ABSTRACT

Motivated by theories of language and communication that explain why communities with large numbers of speakers have, on average, simpler languages with more regularity, we cast the representation learning problem in terms of learning to communicate. Our starting point sees the traditional autoencoder setup as a single encoder with a fixed decoder partner that must learn to communicate. Generalizing from there, we introduce community-based autoencoders in which multiple encoders and decoders collectively learn representations by being randomly paired up on successive training iterations. We find that increasing community sizes reduce idiosyncrasies in the learned codes, resulting in representations that better encode concept categories and correlate with human feature norms.

研究の動機と目的

• 人工学習システムにおけるコミュニティサイズが、人間のコミュニティにおける言語的簡素化と類似した、より抽象的で規則的な表現へと表現を形づくるかを調査すること。
• オートエンコーダーにおける複数パートナー間通信が、単一パートナーのオートエンコーダーで見られる個別的な符号化パターンを軽減するかを検証すること。
• より大きなコミュニティが、概念カテゴリをよりよく符号化し、人間の知覚基準と相関する表現を生み出すかを評価すること。
• 同等の容量を持つ独立型オートエンコーダーと比較し、コミュニティベースの学習の効果を隔離して評価すること。

提案手法

• CbAEsはK個のエンコーダーとK個のデコーダーから構成され、各訓練ステップで1つのランダムに選ばれたエンコーダー・デコーダー対が標準的なオートエンコーディングを実行する。
• エンコーダーはデコーダーの識別子を知らない状態で潜在表現を生成するため、多様なデコーダーに一般化する必要が生じる。
• デコーダーはエンコーダーの識別子を知らない状態で入力を再構築するため、潜在空間における耐障害性と一般化性が促進される。
• 訓練は入力と再構築データ間のL2再構築損失を最小化することで行われ、パラメータは各イテレーションごとに更新される。
• 表現の評価は、概念分類のための線形プローブと、人間がアノテートした視覚的属性（VisA）との間の代表的類似性分析（RSA）を用いる。
• 制御ベースラインとして、同じ容量と初期化の多様性を持つが、コミュニティ間の相互作用のない独立型オートエンコーダーのアンサンブルを用いる。

実験結果

リサーチクエスチョン

• RQ1 学習コミュニティにおける通信パートナーの数を増やすことで、人工オートエンコーダーにおける表現がより単純で規則的になるか？
• RQ2 CbAEsが、低レベルの視覚的詳細ではなく、より高次の概念を符号化する表現をどれほど生成するか？
• RQ3 CbAEによって得られる表現が、人間がアノテートした特徴基準とどの程度一致するか、そしてコミュニティサイズの増大に伴いその相関が向上するか？
• RQ4 コミュニティベースの学習による性能向上はコミュニティ構造に起因するものか、それとも同容量の独立モデルでも再現可能か？

主な発見

• MNISTでは、コミュニティサイズが増加するにつれて概念分類の正確性が単調に向上し、より抽象的な表現であることが示された。
• CIFAR-100では、1人以上のコミュニティメンバーを持つ場合に顕著な概念分類の向上が見られ、2〜4人のメンバーを超えるとさらなる向上はなかった。
• 代表的類似性分析（RSA）の結果、コミュニティサイズが大きくなるほど、CbAEの表現が人間の特徴基準とより強く相関した。
• RSAの相関は、同等容量の独立型オートエンコーダーのアンサンブルの最大性能を顕著に上回っており、コミュニティメカニズムが向上を引き起こしていることを証明した。
• 再構築損失はコミュニティサイズが大きくなるにつれて上昇し、ピクセルレベルの忠実度と高次元の抽象化の間のトレードオフが確認された。
• 本手法は訓練のシードに強く依存せず、性能のばらつきが小さく、独立型オートエンコーダーのアンサンブルと比べてはるかに安定している。