[論文レビュー] Deep Learning without Weight Symmetry

Jian Li, Marcus K. Benna|arXiv (Cornell University)|May 31, 2024

Neural Networks and Applications参考文献 8被引用数 1

ひとこと要約

本稿では、深層学習における重み対称性を排除するために、誤差信号を伝達する補助ニューロン集団を導入することで、生物学的に妥当な信用配分アルゴリズムである製品フィードバックアライメント（PFA）を提案する。PFAは、完全結合層および畳み込み層においてバックプロパゲーションと同等の性能を達成し、重み相関が最小限で、双方向のシナプス接続を必要としないため、生物学的学習における長年の重み対称性問題を解決する。

ABSTRACT

Backpropagation (BP), a foundational algorithm for training artificial neural networks, predominates in contemporary deep learning. Although highly successful, it is often considered biologically implausible. A significant limitation arises from the need for precise symmetry between connections in the backward and forward pathways to backpropagate gradient signals accurately, which is not observed in biological brains. Researchers have proposed several algorithms to alleviate this symmetry constraint, such as feedback alignment and direct feedback alignment. However, their divergence from backpropagation dynamics presents challenges, particularly in deeper networks and convolutional layers. Here we introduce the Product Feedback Alignment (PFA) algorithm. Our findings demonstrate that PFA closely approximates BP and achieves comparable performance in deep convolutional networks while avoiding explicit weight symmetry. Our results offer a novel solution to the longstanding weight symmetry problem, leading to more biologically plausible learning in deep convolutional networks compared to earlier methods.

研究の動機と目的

• バックプロパゲーションにおける重み対称性の生物学的非妥当性、すなわちフィードフォワード重みと完全に一致するフィードバック重みが必要となる点を解決すること。
• 神経生物学的証拠がニューロン間の一貫した双方向接続が存在しないことを示しているのに対し、重み対称性の問題を解消すること。
• 明示的な重み輸送や対称的フィードバック経路を必要とせず、正確な勾配近似を可能にする信用配分メカニズムの開発。
• 完全に局所的で非対称なシナプス接続と補助誤差伝達集団を用いて、深層ネットワークがバックプロパゲーションと同等の性能を達成できることを示すこと。

提案手法

• 出力層から活性化 x_l を持つ層へ誤差信号を戻すために、補助ニューロン集団 \bar{e}_l^k を導入する。
• フィードフォワード重みの更新を計算するために、前方伝播活性化 x_l と補助誤差信号 \bar{e}_l^k の積を用い、対称的フィードバック重みの必要性を排除する。
• 各シナプスごとに独立した要素を持つ固定でランダムに初期化されたフィードバック行列 B を採用し、重み輸送を回避し、前方と後方パスの完全な分離を可能にする。
• 前方パスと後方パスの方向が一致するように、パスアライメント機構を適用する。
• アライメント品質を定量化するためのパスノルム比指標を導入し、1に近い値はバックプロパゲーションへの良好な近似を示す。
• 補助誤差信号をスケーリングするために、λ < 1 の拡張比を用い、勾配近似に十分なランクを保ちつつ、生物学的妥当性を維持する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードとフィードバックパス間の明示的重み対称性がなくても、深層ネットワークにおける信用配分は達成可能か？
• RQ2 突触後から突触前への直接的フィードバックシナプスが存在しない状況でも、生物学的に妥当な学習ルールがバックプロパゲーションを近似可能か？
• RQ3 双方向接続を避けるが、標準的なビジョンベンチマークで高い正確性を維持できる学習アルゴリズムの性能はいかほどか？
• RQ4 対称的または輸送された重みに依存せずに、誤差信号を効果的に伝達し、正確な重み更新を可能にする方法は何か？
• RQ5 補助ニューロン集団は、接続パターンの生物学的妥当性を保ちつつ、効果的な勾配近似を可能にするか？

主な発見

• PFAはResNet-18を用いてImageNetで69.30%のテスト精度を達成し、標準的なバックプロパゲーションの69.69%と非常に近い性能を示した。
• PFAは約78°のパスアライメント角度と1.0に近いパスノルム比を達成し、前方と後方パスの強い一致を示した。
• PFAはすべての双方向シナプス接続を排除し、重みアライメント角度を90°（相関なし）にした。これは、脳で観察される対称的重みの欠如と一致する。
• PFAは、ImageNetにおいてSF（64.63%精度）やFA/DFAよりも優れた性能を示し、困難なタスクでも優れた性能を発揮した。
• 固定されたフィードバック重みBを用いても高い性能を維持でき、補助誤差集団の使用により、重み輸送を必要とせず正確な勾配近似が可能となった。
• この手法により、アポカル・ベースラル dendritic segregation やバーストベース信号多重化といった既存の生物学的フレームワークとの柔軟な統合が可能になった。誤差と活性化の伝達が分離されたためである。