[論文レビュー] Is Bio-Inspired Learning Better than Backprop? Benchmarking Bio Learning vs. Backprop

Manas Gupta, Sarthak Ketanbhai Modi+3 more|arXiv (Cornell University)|Dec 9, 2022

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、Hebbian学習、フィードバックアライメント（FA）、直接フィードバックアライメント（DFA）、予測コーディング（PC）、差分ターゲット伝搬（DTP）といった生物にインspiredされた学習アルゴリズムを、バックプロパゲーション（BP）と、限られたデータ量やリソース制約といった現実的な条件のもとで比較評価している。その結果、低データ量および低予算環境下で、生物由来のアルゴリズムがBPを著しく上回ることが判明した。特にHebbian学習は、20%の高い正確性を達成し、収束がBPの100エポックに対し5エポックで完了するなど20倍速く収束した。また、ノイズや重みスパarsityに対しても頑健であることが示された。

ABSTRACT

Bio-inspired learning has been gaining popularity recently given that Backpropagation (BP) is not considered biologically plausible. Many algorithms have been proposed in the literature which are all more biologically plausible than BP. However, apart from overcoming the biological implausibility of BP, a strong motivation for using Bio-inspired algorithms remains lacking. In this study, we undertake a holistic comparison of BP vs. multiple Bio-inspired algorithms to answer the question of whether Bio-learning offers additional benefits over BP. We test Bio-algorithms under different design choices such as access to only partial training data, resource constraints in terms of the number of training epochs, sparsification of the neural network parameters and addition of noise to input samples. Through these experiments, we notably find two key advantages of Bio-algorithms over BP. Firstly, Bio-algorithms perform much better than BP when the entire training dataset is not supplied. Four of the five Bio-algorithms tested outperform BP by upto 5% accuracy when only 20% of the training dataset is available. Secondly, even when the full dataset is available, Bio-algorithms learn much quicker and converge to a stable accuracy in far lesser training epochs than BP. Hebbian learning, specifically, is able to learn in just 5 epochs compared to around 100 epochs required by BP. These insights present practical reasons for utilising Bio-learning beyond just their biological plausibility and also point towards interesting new directions for future work on Bio-learning.

研究の動機と目的

• 生物にインスパイアされた学習アルゴリズムが、生物学的妥当性を超えてバックプロパゲーション（BP）に実用的利点を提供するかどうかを評価すること。
• 限られた学習データ、限定的なエポック数、入力ノイズ、モデルスパarsityといった現実的な制約下での性能差を調査すること。
• エッジAIやデータが乏しい環境といった実世界の応用分野における生物学的学習の実用的利点を特定すること。
• 特徴量可視化を用いて、BPと比較して生物アルゴリズムの表象学習の質を分析すること。
• 極端なパラメータスパarsityおよびノイズのある入力下での生物アルゴリズムの頑健性を評価すること。

提案手法

• Hebbian学習、フィードバックアライメント（FA）、直接フィードバックアライメント（DFA）、予測コーディング（PC）、差分ターゲット伝搬（DTP）の5つの生物にインスパイアされたアルゴリズムをベンチマーク化した。
• 20%の学習データ、限定的なエポック数（最大100）、入力ノイズ（ガウス分布およびペッパー・ノイズ）、95%の重みスパarsityの4つの実験的設定で性能を評価した。
• 標準データセットとしてCIFAR-10、CIFAR-100、SST-2（NLPセンチメント分類）を用いた。
• 10個の異なるランダムシードでモデルを訓練し、平均正確性と標準偏差を算出した。
• 活性化マップを用いて特徴量を可視化し、BPとHebbian学習の間で解釈可能性および構造の違いを比較した。
• 95%のスパarsityでネットワークプリーニングを実施し、標準的な画像劣化技術を用いてノイズ耐性を評価した。

実験結果

リサーチクエスチョン

• RQ1 限られた学習データの状況下で、生物にインスパイアされた学習アルゴリズムはバックプロパゲーション（BP）を上回るか？
• RQ2 生物アルゴリズムは、BPに比べて少ないエポック数でより速く収束し、安定した性能を発揮できるか？
• RQ3 入力ノイズおよびモデルスパarsityの下で、生物アルゴリズムはBPに比べてどのように性能を発揮するか？
• RQ4 生物アルゴリズムは、BPよりも解釈可能または細分化された特徴を学習するか？
• RQ5 生物学的学習の利点は、NLPのような異なる分野でも継続的に見られるか？

主な発見

• 5つの生物アルゴリズムのうち4つ（FA、DFA、HB、PC）は、学習データが20%に制限された状況で、BPを最大5%の正確性で上回った。
• Hebbian学習は、限られたデータ量と限られた学習予算の下で、BPに比べ最大20%高い正確性を達成し、収束にわずか5エポックで完了したのに対し、BPは約100エポックを要した。
• Hebbian学習はBPに比べ20倍速く収束し、複数のデータセットで5エポックで安定した正確性に到達した。
• 特徴量可視化の結果、Hebbian学習はBPが学習するよりランダムに見える特徴と比較して、より細分化され解釈可能な特徴を学習していた。
• 生物アルゴリズム、特にDFAはCIFAR-10およびCIFAR-100でガウスノイズおよびペッパー・ノイズの両方の下でBPを上回り、ノイズ下でもBPよりも高い正確性を達成した。
• 極度のスパarsity（95%の重み削除）下でも生物学的学習は高い正確性を維持し、BPと同等またはそれを上回った。Hebbianを除くすべてのアルゴリズムがスパarsityに対して頑健であった。