[論文レビュー] Leader-Follower Neural Networks with Local Error Signals Inspired by Complex Collectives

Chenzhong Yin, Mingxi Cheng+5 more|arXiv (Cornell University)|Oct 11, 2023

Neural Networks and Reservoir Computing被引用数 4

ひとこと要約

本稿では、リーダーとフォロワーが階層的構造において局所的な誤差信号を用いて学習する、生物学的にインspiredな深層学習アーキテクチャであるリーダー・フォロワーニューラルネットワーク（LFNN）を提案する。グローバルな誤差逆伝播を必要とせず、代わりに局所的な誤差信号を用いる。LFNN-ℓは、バックプロパゲーションフリーなバージョンであり、MNIST、CIFAR-10、ImageNetで最先端の性能を達成し、すべての先行するバックプロパゲーションフリーなアルゴリズムを上回り、バックプロパゲーションを用いるベースラインと同等またはそれを上回る性能を示した。

ABSTRACT

The collective behavior of a network with heterogeneous, resource-limited information processing units (e.g., group of fish, flock of birds, or network of neurons) demonstrates high self-organization and complexity. These emergent properties arise from simple interaction rules where certain individuals can exhibit leadership-like behavior and influence the collective activity of the group. Motivated by the intricacy of these collectives, we propose a neural network (NN) architecture inspired by the rules observed in nature's collective ensembles. This NN structure contains workers that encompass one or more information processing units (e.g., neurons, filters, layers, or blocks of layers). Workers are either leaders or followers, and we train a leader-follower neural network (LFNN) by leveraging local error signals and optionally incorporating backpropagation (BP) and global loss. We investigate worker behavior and evaluate LFNNs through extensive experimentation. Our LFNNs trained with local error signals achieve significantly lower error rates than previous BP-free algorithms on MNIST and CIFAR-10 and even surpass BP-enabled baselines. In the case of ImageNet, our LFNN-l demonstrates superior scalability and outperforms previous BP-free algorithms by a significant margin.

研究の動機と目的

• 自然界の集団行動（例：鳥の群れ、神経ネットワーク）を模倣した生物学的に妥当な深層学習アーキテクチャの開発。
• 人工ニューラルネットワークにおける誤差逆伝播の計算的・生物学的非現実性を解消するため、グローバルな誤差信号を局所的学習メカニズムに置き換えること。
• リーダー・フォロワー階層構造における局所的誤差信号が、誤差逆伝播ベースのモデルと同等の性能を達成できるかどうかの検証。
• ImageNetを含む多様なデータセットにおける、提案アーキテクチャのスケーラビリティと一般化性能の評価。
• リーダーシップのサイズがモデル性能およびネットワークの複雑さに与える影響の調査。

提案手法

• ネットワークは、リーダーとフォロワーの作業者からなる階層的レイヤー構造となっており、リーダーは広範な情報へのアクセスと集団行動への影響を持つ。
• リーダーとフォロワーは、それぞれの出力とターゲットラベルから導かれる異なる局所的誤差信号を用い、分散型の学習を可能にする。
• アーキテクチャは、バックプロパゲーションを有効にした学習（LFNN）と、バックプロパゲーションフリーの学習（LFNN-ℓ）の両方をサポートしており、後者は完全に局所的損失信号に依存する。
• リーダーの割合をハイパーパrameterとして導入し、各レイヤーにおけるリーダーの割合を制御することで、情報の流れと学習ダイナミクスに影響を与える。
• モデルは局所的誤差信号を用いた確率的勾配降下法で訓練され、必要に応じてグローバル損失を組み込むことで性能を向上させる。
• MNIST、CIFAR-10、ImageNetを用いた実験を行い、ResNet-50やその他のアーキテクチャを用いてスケーラビリティと精度を評価した。

実験結果

リサーチクエスチョン

• RQ1 リーダー・フォロワー構造と局所的誤差信号を備えたニューラルネットワークアーキテクチャが、誤差逆伝播ベースのモデルと同等の性能を達成できるか？
• RQ2 ネットワーク内のリーダーの割合が、異なるデータセットにおけるモデルの精度と一般化性能に与える影響は？
• RQ3 バックプロパゲーションフリーなモデル（LFNN-ℓ）が、標準ベンチマークで既存の生物学的に妥当なバックプロパゲーションフリーな学習アルゴリズムを上回ることができるか？
• RQ4 階層的リーダー・フォロワー構造が、ImageNetのような大規模データセットにおけるスケーラビリティと性能向上に寄与するか？
• RQ5 ネットワークの深さ、リーダーシップのサイズ、データセットの複雑さの間には、学習効率と精度の観点でどのような関係があるか？

主な発見

• Tiny ImageNetでは、LFNN-ℓが36.06％のテスト誤差率を達成し、すべての他のバックプロパゲーションフリーのベースラインを上回り、バックプロパゲーションを用いるモデルに近い性能を示した。
• ImageNetサブセットでは、90％のリーダーシップを採用したLFNN-ℓが53.82％のテスト誤差率を達成し、すべての先行するバックプロパゲーションフリーのモデルを上回り、バックプロパゲーションを用いるベースラインの50.6％に非常に近い性能を示した。
• MNISTおよびCIFAR-10では、LFNN-ℓは以前のバックプロパゲーションフリーのアルゴリズムよりも顕著に低い誤差率を達成し、小規模から中規模のタスクにおける優れた一般化性能を示した。
• LFNN-ℓの性能はモデルパラメータの増加に伴い向上し、スケーラビリティとさらなる最適化の可能性を示した。
• Tiny ImageNetおよびImageNetサブセットの両方で、90％のリーダーシップが最良の結果をもたらした。これは、複雑なデータセットではより高いリーダーシップが不可欠であることを示唆している。
• 結果から、グローバルな誤差逆伝播なしに、リーダー・フォロワー階層構造を用いた局所的学習が、競争力のある性能を達成できることを示した。これは、標準的な訓練方法の生物学的に妥当な代替手段を提供する。