[論文レビュー] The Cascaded Forward Algorithm for Neural Network Training

Gongpei Zhao, Tao Wang+4 more|arXiv (Cornell University)|Mar 17, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

本論文は、クラス分布を直接出力する独立でバックプロパゲーションで訓練されない予測器を有する段階的ニューラルブロックを用いる、深層ニューラルネットワークのバックプロパゲーションフリーな学習フレームワークCaFoを提案する。負のサンプリングを排除し、並列学習を可能にすることで、CIFAR-10、CIFAR-100、MNIST、Mini-ImageNetにおける画像分類ベンチマークにおいて、Forward-Forwardや従来のバックプロパゲーションと比較して優れた精度と効率性を達成する。特に、ラベル空間が大きな多クラス設定で顕著な性能を発揮する。

ABSTRACT

Backpropagation algorithm has been widely used as a mainstream learning procedure for neural networks in the past decade, and has played a significant role in the development of deep learning. However, there exist some limitations associated with this algorithm, such as getting stuck in local minima and experiencing vanishing/exploding gradients, which have led to questions about its biological plausibility. To address these limitations, alternative algorithms to backpropagation have been preliminarily explored, with the Forward-Forward (FF) algorithm being one of the most well-known. In this paper we propose a new learning framework for neural networks, namely Cascaded Forward (CaFo) algorithm, which does not rely on BP optimization as that in FF. Unlike FF, our framework directly outputs label distributions at each cascaded block, which does not require generation of additional negative samples and thus leads to a more efficient process at both training and testing. Moreover, in our framework each block can be trained independently, so it can be easily deployed into parallel acceleration systems. The proposed method is evaluated on four public image classification benchmarks, and the experimental results illustrate significant improvement in prediction accuracy in comparison with the baseline.

研究の動機と目的

• 勾配消失や全ネットワーク勾配計算への依存といった、バックプロパゲーションの生物学的不実現性と実用的制限を解消すること。
• 学習における負のサンプリングと逆伝播の必要性を排除し、より生物学的に現実的で効率的な学習を可能にすること。
• 各ニューラルブロックとその付随する予測器が独立して訓練可能であるフレームワークを構築し、並列処理とモジュール型デプロイメントを支援すること。
• 特にクラス数が多い多クラス分類タスクにおいて、予測精度と学習効率を向上させること。
• バックプロパゲーションに依存しない学習が深層ネットワークで実現可能かどうかを検証するとともに、バックプロパゲーションベースの手法と同等またはそれを上回る性能を維持すること。

提案手法

• CaFoフレームワークは、入力特徴を新たな表現空間に写像する畳み込み層、プーリング層、正規化層、活性化関数を含む複数のカスケードドニューラルブロックから構成される。
• 各ブロックはバックプロパゲーションを用いない方法（例：DFA やランダム初期化）で事前学習され、勾配計算を回避し、独立した学習が可能になる。
• 各ブロックにレイヤーワイズの予測器が接続され、出力と正例ラベルの間の予測誤差（MSE、CE、または SL）を最小化するように、前方伝播のみを用いて独立して訓練される。
• 推論時、最終的な予測はすべての予測器からの出力の重み付き平均または加重平均として得られ、バックプロパゲーションなしにエンドツーエンド分類が可能になる。
• 本手法はスカラの「良さのスコア」ではなく、直接的にクラス分布を出力するため、多クラスタスクに特に適している。
• ブロックと予測器の並列学習が可能であり、分散システム上でのスケーラビリティとデプロイメント効率が向上する。

実験結果

リサーチクエスチョン

• RQ1 カスケードドフォワードブロックと独立した予測器を用いることで、バックプロパゲーションなしに深層ニューラルネットワークを効果的に学習できるか？
• RQ2 バックプロパゲーションを使わない学習環境下で、CaFoの性能はバックプロパゲーションおよびForward-Forwardと比較してどうなるか？
• RQ3 異なるニューラルブロック学習戦略（例：DFA やランダムターゲットプロジェクション）が、CaFoの最終的精度に与える影響は何か？
• RQ4 カスケードドブロックの数がモデルの一般化性能と過学習に与える影響は何か？
• RQ5 異なる特徴レベルからの複数の予測器の組み合わせは、シングルヘッドモデルと比較して最終分類性能を向上させられるか？

主な発見

• CaFoは、CIFAR-10、CIFAR-100、MNIST、Mini-ImageNetにおいて、バックプロパゲーションフリー手法の中で最先端の性能を達成し、Forward-Forwardや他のベースラインと比較して顕著な精度向上を示した。
• 負のサンプリングの必要性が排除され、学習の安定性が向上し、サンプリング品質への感受性が低減した。
• 直接フィードバックアライメント（DFA）を用いてニューラルブロックを事前学習すると、ランダムターゲットプロジェクションよりも優れた性能を発揮し、DFAがバックプロパゲーションフリー学習において有効であることを示した。
• ブロック数を増やすことで学習誤差は低下（より良いフィッティング）するが、あまりに多くのブロックを使用するとテストセットでの過学習が生じる傾向にあり、容量と一般化性能のトレードオフが明確に現れた。
• より深いブロックに接続された予測器は、浅いブロックの予測器よりも一貫して優れた性能を示し、階層的特徴が分類により判別力があることを示した。
• すべての予測器出力の組み合わせによる最終予測は、個々の予測器よりも低いテスト誤差を達成しており、CaFoフレームワークにおけるアンサンブル統合の有効性が裏付けられた。