[論文レビュー] Cooperation Is All You Need

Ahsan Adeel, Junaid Muzaffar+6 more|arXiv (Cornell University)|May 16, 2023

Neural dynamics and brain functionNeuroscience被引用数 3

ひとこと要約

この論文は、新皮質内の文脈感受性のある二点パラミダルニューロンにインspiredされた協調的ニューラルアーキテクチャ「Cooperator」を紹介し、順序不変強化学習タスクにおいて、Transformerベースのモデルを上回ることを示した。同一のパラメータ数であっても、Cooperatorは、不要なフィードフォワード信号を抑制する文脈フィードバックを用いることで、より効率的かつ耐障害性の高い情報処理を可能にし、CartPoleおよびPyBullet Ant環境で顕著に高速な学習と高いフィットネススコアを達成した。

ABSTRACT

Going beyond 'dendritic democracy', we introduce a 'democracy of local processors', termed Cooperator. Here we compare their capabilities when used in permutation invariant neural networks for reinforcement learning (RL), with machine learning algorithms based on Transformers, such as ChatGPT. Transformers are based on the long standing conception of integrate-and-fire 'point' neurons, whereas Cooperator is inspired by recent neurobiological breakthroughs suggesting that the cellular foundations of mental life depend on context-sensitive pyramidal neurons in the neocortex which have two functionally distinct points. Weshow that when used for RL, an algorithm based on Cooperator learns far quicker than that based on Transformer, even while having the same number of parameters.

研究の動機と目的

• 深層学習におけるポイントニューロンベースのモデルの非効率性、すなわち関連性の有無にかかわらずすべての入力を伝達する点を是正すること。
• 二点パラミダルニューロンにインspiredされた文脈感受性のニューラル処理が、強化学習における標準的なアテンション機構を上回るかどうかを調査すること。
• 文脈フィードバックによって誘導される局所プロセッサ間の協調が、順序不変強化学習エージェントにおける学習速度と安定性を向上させるかどうかを示すこと。
• 深層ネットワークにおける「 dendritic democracy 」の優位性に挑戦し、入力統合の強さではなく文脈的一致性を重視する「局所プロセッサの民主主義（DoLP）」を提唱すること。

提案手法

• Cooperatorは、基底樹状棘がフィードフォワード入力を受容し、頂蓋樹状棘が隣接ニューロンからの文脈信号を統合する二点ニューロンモデルを実装している。
• 文脈感受性プロセッサは、隣接ニューロンの平均的意見としての文脈統合領域（C）を計算し、これによりフィードフォワード信号の伝送が調整される。
• ニューロンの認識が周囲の大多数と一致する場合、伝送確率が増幅され、矛盾するか無関係な入力が抑制される。
• アーキテクチャは、このような文脈感受性ニューロンの単一層と、シンプルなポリシーネットワークから構成され、ベースラインのTransformerと同一のパラメータ数を維持している。
• スパikingシミュレーションでは、バースト依存性シナプス可塑性を用いて学習効率と耐障害性を向上させている。
• 入力の固定順序に依存しないアテンションに類似したメカニズムを用いることで、順序不変性を維持しつつ、文脈的協調を活用している。

実験結果

リサーチクエスチョン

• RQ1 同じパラメータ数であっても、協調的かつ文脈感受性のニューラルアーキテクチャが、標準的なTransformerを強化学習で上回ることができるか？
• RQ2 二点ニューロンにおける文脈感受性処理は、従来の統合・発火型ポイントニューロンと比較して、学習速度の向上とノイズ低減にどのように寄与するか？
• RQ3 局所プロセッサ間の文脈的一致性が、深層ネットワークにおける情報伝送効率の向上とエネルギー消費の低減に、どの程度寄与するか？
• RQ4 「ニューロンが不要な信号を抑制するために協調する」という提案されたDoLPメカニズムは、強化学習訓練における収束速度の向上と分散の低減をもたらすか？

主な発見

• CartPole環境では、Cooperatorは10,000エピソード後に538 ± 419のフィットネススコアを達成し、Transformerの340 ± 310を顕著に上回った。
• 入力をシャッフルした場合、Cooperatorは5,000エピソードで508 ± 408に達したのに対し、Transformerは350を下回り続け、入力順序の変更に対して優れた耐性を示した。
• PyBullet Antタスクでは、Cooperatorは1,000エピソード後に1,170 ± 35のフィットネスポイントを達成したのに対し、Transformerは121 ± 53にとどまり、顕著な性能差が確認された。
• 入力順序がランダム化された状況でも、Cooperatorはトレーニングの分散を低減し、ベースラインよりも速く高いフィットネススコアを達成した。
• シャッフル済みおよびシャッフルなしの両入力シナリオにおいて、モデルの性能は安定的かつ一貫しており、優れた一般化能力と耐障害性を示した。
• 結果は、文脈感受性で協調的な処理が神経活動とエネルギー消費を低減し、学習効率と耐障害性を向上させることを支持する。