[論文レビュー] SymBa: Symmetric Backpropagation-Free Contrastive Learning with Forward-Forward Algorithm for Optimizing Convergence

Heung-Chang Lee, Jeonggeun Song|arXiv (Cornell University)|Mar 15, 2023

Machine Learning and ELM被引用数 7

ひとこと要約

SymBaは、生物学的に妥当なバックプロパゲーションフリーの対照的学習アルゴリズムを提案し、正例と負例の勾配を対称的にバランスさせ、クラス情報を保持するための内在的クラスパターン（ICP）を導入することで収束性と性能を向上させる。MNIST、CIFAR-10、CIFAR-100において、標準的なフォワードフォワード（FF）およびバックプロパゲーションを上回り、BPを用いずに最先端の結果を達成する。

ABSTRACT

The paper proposes a new algorithm called SymBa that aims to achieve more biologically plausible learning than Back-Propagation (BP). The algorithm is based on the Forward-Forward (FF) algorithm, which is a BP-free method for training neural networks. SymBa improves the FF algorithm's convergence behavior by addressing the problem of asymmetric gradients caused by conflicting converging directions for positive and negative samples. The algorithm balances positive and negative losses to enhance performance and convergence speed. Furthermore, it modifies the FF algorithm by adding Intrinsic Class Pattern (ICP) containing class information to prevent the loss of class information during training. The proposed algorithm has the potential to improve our understanding of how the brain learns and processes information and to develop more effective and efficient artificial intelligence systems. The paper presents experimental results that demonstrate the effectiveness of SymBa algorithm compared to the FF algorithm and BP.

研究の動機と目的

• バックプロパゲーションの生物学的に妥当な代替手法を開発し、皮質学習メカニズムを模倣すること。
• フォワードフォワード（FF）アルゴリズムにおける勾配の非対称的収束問題を解決し、安定した学習を可能にすること。
• FFのワンホットエンコーディングオーバーレイ手法によるクラス情報の損失を防ぐこと。
• 正例と負例の損失最適化を統合することで収束速度とモデル性能を向上させること。
• バックプロパゲーションを用いない学習が、標準的な視覚ベンチマークで優れた性能を達成できることを示すこと。

提案手法

• SymBaは、正例と負例の勾配方向をバランスさせる対称的損失関数を導入し、安定した収束を確保する。
• FFにおけるワンホットエンコーディングオーバーレイを、入力チャネルに埋め込まれたスパースでクラス固有のノイズパターンである内在的クラスパターン（ICP）に置き換える。
• ICPは、黒い画像からランダムにピクセルを抽出し、制御されたレート（最適値は0.1）で値1を割り当てる方法で生成される。
• アルゴリズムは、正例では活性化を最大化し、負例では最小化するように、統一された対照的損失を用いて各レイヤーを学習する。
• 各レイヤー内で2回のフォワードパスにより勾配を内部的に計算することでバックプロパゲーションを回避し、生物学的妥当性を保持する。
• ICPのレートをアブレーションし、勾配爆発を防ぎつつクラス分離を最大化する最適なスパarsity（0.1）を同定する。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションフリーの学習アルゴリズムは、標準的なバックプロパゲーションよりも優れた収束性と性能を達成できるか？
• RQ2 バックプロパゲーションなしで、対照的学習においてどのように対称的勾配更新を実現できるか？
• RQ3 内在的クラスパターン（ICP）を用いてクラス情報を保持することで、ワンホットエンコーディングオーバーレイに比べてモデル性能が向上するか？
• RQ4 分類精度を最大化しながら学習安定性を維持するためのICPの最適スパarsityレベルは何か？
• RQ5 バックプロパゲーションフリーのアルゴリズムは、CIFAR-10やCIFAR-100のような標準的な視覚ベンチマークでバックプロパゲーションを上回れるか？

主な発見

• SymBaは、すべてのベンチマークで標準的なフォワードフォワード（FF）アルゴリズムを上回り、ICPを用いることでCIFAR-10で40.91%のテスト誤差を達成したのに対し、ワンホットオーバーレイを用いたFFは49.63%であった。
• SymBaは、ワンホットオーバーレイを用いることでCIFAR-10で41.23%のテスト誤差を記録し、FFの49.63%よりも顕著に低い水準にあった。
• アブレーションスタディにより、ICPはワンホットエンコーディングを常に上回り、SymBaフレームワーク内での比較でCIFAR-10で0.32%の改善が確認された。
• 最適なICPレートは0.1であった。これより低いレート（例：0.05）では、クラス固有の信号が不十分なために損失がNaNに収束した。
• SymBaの対称的損失設計により、異なる初期化でも一貫した収束勾配が得られたのに対し、FFは勾配スケールの変動が顕著であった。
• SymBaは、MNIST、CIFAR-10、CIFAR-100において、バックプロパゲーションフリー手法の中で最先端の性能を達成し、バックプロパゲーションの生物学的に妥当な代替手法としての可能性を示した。