[論文レビュー] Forward Learning with Top-Down Feedback: Empirical and Analytical Characterization

Ravi Francesco Srinivasan, Francesca Mignacco+5 more|arXiv (Cornell University)|Feb 10, 2023

Neural Networks and Applications被引用数 7

ひとこと要約

本稿では、前向きのみの学習アルゴリズムであるPEPITAが、上向きフィードバックを用いるフォワード・フォワードフレームワークと解析的に同等であり、適応的フィードバック・アライメント則によって近似可能であることを示している。重みミラーリングを導入することで、アライメント、精度、収束性が向上し、CIFAR-10では53.8%の精度を達成し、CIFAR-100ではバックプロパゲーションとの差を2%以上縮小した。

ABSTRACT

"Forward-only" algorithms, which train neural networks while avoiding a backward pass, have recently gained attention as a way of solving the biologically unrealistic aspects of backpropagation. Here, we first address compelling challenges related to the "forward-only" rules, which include reducing the performance gap with backpropagation and providing an analytical understanding of their dynamics. To this end, we show that the forward-only algorithm with top-down feedback is well-approximated by an "adaptive-feedback-alignment" algorithm, and we analytically track its performance during learning in a prototype high-dimensional setting. Then, we compare different versions of forward-only algorithms, focusing on the Forward-Forward and PEPITA frameworks, and we show that they share the same learning principles. Overall, our work unveils the connections between three key neuro-inspired learning rules, providing a link between "forward-only" algorithms, i.e., Forward-Forward and PEPITA, and an approximation of backpropagation, i.e., Feedback Alignment.

研究の動機と目的

• 前向きのみの学習アルゴリズム（PEPITA や フォワード・フォワードを含む）における解析的理解の不足に取り組むこと。
• 重みアライメントと収束性の向上によって、前向きのみの手法とバックプロパゲーションとの性能差を縮小すること。
• 学習ルールが空間的・時間的に局所的であることを保証することで、生物学的妥当性を高めること。
• 重みミラーリングを、前向きのみのフレームワークにおける学習ダイナミクスを改善する戦略として開発・評価すること。

提案手法

• 空間的・時間的局所性を確立するために、PEPITAをヘブ的およびアンチヘブ的項の和として形式化すること。
• 理論的分析を通じて、PEPITAと上向きフィードバックを用いるフォワード・フォワードの間の同等性を示すこと。
• フィードバックが前方重み行列によって調整される適応的フィードバック・アライメント機構として、PEPITAの更新則を近似すること。
• 訓練開始前に重みミラーリング（プレミラーリング）を適用することで、初期化段階でアライメントされた重みを生成し、収束を加速すること。
• 重みミラーリングと併用して活性化正規化を適用することで、学習の安定化と精度向上を図ること。
• テスト精度と収束速度（学習曲線のプレートオーバー適合）を用いて、CIFAR-10およびCIFAR-100における性能をベンチマークすること。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャおよび学習ダイナミクスの観点から、PEPITAはフォワード・フォワードアルゴリズムとどのように関係しているか？
• RQ2 PEPITAの更新則は、適応的フィードバックを伴うフィードバック・アライメントに類似した機構によって解析的に近似可能か？
• RQ3 重みミラーリングは、前向きのみの学習における重みアライメント、精度、収束速度を向上させるか？
• RQ4 プレミラーリングは、アライメントされた重みを初期化することで、学習をどの程度高速化するか？
• RQ5 重みミラーリングと活性化正規化の組み合わせは、標準的なビジョンベンチマークにおける性能にどのような影響を与えるか？

主な発見

• PEPITAは、上向きフィードバックを用いてネガティブフェーズの入力を生成するフォワード・フォワードフレームワークと数学的に同等である。
• PEPITAの更新則は、前方重み行列によって調整されるフィードバックがモodulatedされた適応的フィードバック・アライメントアルゴリズムによって近似可能である。
• 重みミラーリングは、特に浅いネットワークにおいて、前方重み行列とフィードバック重み行列の間のアライメントを顕著に改善する。
• CIFAR-10では、重みミラーリングと活性化正規化を適用したPEPITAが、53.8%のテスト精度を達成し、標準的なPEPITAに比べ1.3%の向上を示した。
• CIFAR-100では、重みミラーリングにより精度が2%以上向上し、バックプロパゲーションとの差を顕著に縮小した。
• プレミラーリングは、学習曲線の遅れパラメータを低減させ、特に1層隠れ層ネットワークにおいて収束が速くなることを示した。