[論文レビュー] Coordination Among Neural Modules Through a Shared Global Workspace

Anirudh Goyal, Aniket Didolkar+8 more|arXiv (Cornell University)|Mar 1, 2021

Ferroelectric and Negative Capacitance Devices参考文献 51被引用数 17

ひとこと要約

本稿では、制限された帯域幅を持つ共有グローバルワークスペースを提案し、モジュラーなニューラルネットワークを調整する。これにより、専門家モジュールが注目を競い合い、統合された表現をブロードキャストできる。この手法は、注目を絞り込み、一貫性のある通信を促すことで、オブジェクト追跡、物理的推論、Atariゲームの転移学習において、ペairワイズな注目メカニズムを上回る性能向上を実現する。

ABSTRACT

Deep learning has seen a movement away from representing examples with a monolithic hidden state towards a richly structured state. For example, Transformers segment by position, and object-centric architectures decompose images into entities. In all these architectures, interactions between different elements are modeled via pairwise interactions: Transformers make use of self-attention to incorporate information from other positions; object-centric architectures make use of graph neural networks to model interactions among entities. However, pairwise interactions may not achieve global coordination or a coherent, integrated representation that can be used for downstream tasks. In cognitive science, a global workspace architecture has been proposed in which functionally specialized components share information through a common, bandwidth-limited communication channel. We explore the use of such a communication channel in the context of deep learning for modeling the structure of complex environments. The proposed method includes a shared workspace through which communication among different specialist modules takes place but due to limits on the communication bandwidth, specialist modules must compete for access. We show that capacity limitations have a rational basis in that (1) they encourage specialization and compositionality and (2) they facilitate the synchronization of otherwise independent specialists.

研究の動機と目的

• ディープラーニングアーキテクチャにおける機能的に特化したニューラルモジュールの調整という課題に取り組む。
• ペアワイズな相互作用に依存せずに、モジュール間での表現の一貫性と統合を向上させること。
• 制限された通信帯域幅が、モジュラーなネットワークにおける特化と構成的性を促進する役割を明らかにすること。
• 中央集権的かつボトルネック化された通信メカニズムを通じて、より良い一般化と転移学習を実現すること。
• 微分可能でエンドツーエンドの学習が可能な方法により、古典的なモジュラーAIアーキテクチャと現代のディープラーニングを橋渡しすること。

提案手法

• 共有グローバルワークスペースが、専門家モジュールが情報を書き込む帯域幅制限付きの通信チャネルとして機能する。
• 専門家モジュールは入力を独立して処理した後、関連性に基づいてワークスペースに情報を選択的に書き込む。
• 更新されたワークスペースの内容がすべての専門家にブロードキャストされ、ネットワーク全体の同期更新が可能になる。
• システムは微分可能な注目メカニズムを用い、全アーキテクチャの勾配ベースの学習を可能にする。
• ワークスペースの限られた容量が、選択的注目を強制し、効率的で一貫性のある情報共有を促進する。
• SCOFF や RIMs などのモデルに適用され、共有ワークスペース注目が標準的な自己注目と置き換えられたり、補完されたりする。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズな相互作用に依存せずに、モジュラーなニューラルネットワークが一貫性のある統合表現をどのように達成できるか。
• RQ2 制限された通信帯域幅が、ニューラルスペシャリスト間の特化と協調に果たす役割は何か。
• RQ3 標準的な自己注目と比較して、共有ワークスペースは視覚的推論および物理的予測タスクの性能向上に寄与するか。
• RQ4 Atariゲームのようなマルチ環境設定において、共有ワークスペースメカニズムは転移学習を強化するか。
• RQ5 共有ワークスペース内のスロット数の増加が、モデルの性能と一般化能力に与える影響は何か。

主な発見

• 共有ワークスペースモデルは、5つのワークスペーススロットを用いたバウンシングボールタスクで調整ランダムインデックス（ARI）0.915を達成し、共有ワークスペースを備えないSCOFF（ARI：0.276）を著しく上回った。
• 5つのスロットを用いた場合、平均二乗誤差（MSE）が0.035に低下し、SCOFFの0.083 MSEと比較して58％の改善を達成した。
• スロット数を5つを超えて増加させると性能が低下したため、帯域幅制限付き通信の利点が裏付けられた。
• Atariゲームでは、共有ワークスペースを統合したRIMsが、ゲームAで中央値の性能比1.13、ゲームBで1.11を記録し、前向きの転移性が向上し、後退的干渉が減少した。
• 視覚的推論ベンチマークにおいて、関係的および非関係的質問の両方で、ベースラインを上回り、より速く収束した。
• 共有ワークスペースにより、関連するエンティティに注目を集中させることで、より良いオブジェクト分離と一貫性のある物理的推論が可能になった。