[論文レビュー] Feed-Forward Optimization With Delayed Feedback for Neural Network Training

Katharina Flügel, Daniel Coquelin+4 more|arXiv (Cornell University)|Apr 26, 2023

Neural Networks and Reservoir Computing被引用数 6

ひとこと要約

この論文は、F3を紹介する。F3は、深層ニューラルネットワークのための生物学的に妥当な、誤差逆伝播を不要とする学習アルゴリズムであり、前のエポックからの遅延した誤差信号をサンプルごとのスケーリング要因として用いて勾配を近似する。F3は、生物学的に妥当な手法と誤差逆伝播の間の性能差を最大96%まで縮小し、逆伝播なしで効率的で並列化可能かつ低消費電力な学習を可能にする。

ABSTRACT

Backpropagation has long been criticized for being biologically implausible due to its reliance on concepts that are not viable in natural learning processes. Two core issues are the weight transport and update locking problems caused by the forward-backward dependencies, which limit biological plausibility, computational efficiency, and parallelization. Although several alternatives have been proposed to increase biological plausibility, they often come at the cost of reduced predictive performance. This paper proposes an alternative approach to training feed-forward neural networks addressing these issues by using approximate gradient information. We introduce Feed-Forward with delayed Feedback (F$^3$), which approximates gradients using fixed random feedback paths and delayed error information from the previous epoch to balance biological plausibility with predictive performance. We evaluate F$^3$ across multiple tasks and architectures, including both fully-connected and Transformer networks. Our results demonstrate that, compared to similarly plausible approaches, F$^3$ significantly improves predictive performance, narrowing the gap to backpropagation by up to 56% for classification and 96% for regression. This work is a step towards more biologically plausible learning algorithms while opening up new avenues for energy-efficient and parallelizable neural network training.

研究の動機と目的

• 誤差逆伝播の生物学的非妥当性、特に重み伝搬問題と更新ロック問題に対処する。
• 遅延した誤差情報を利用することで、誤差逆伝播を不要とする学習手法の予測性能を向上させる。
• 神経形状およびエッジデバイスに適した、効率的で低消費電力かつ並列化可能な学習を可能にする。
• 逆伝播と層間同期を排除することで、計算コストとメモリ要件を低減する。
• 誤差逆伝播が失敗する深層ネットワーク（最大100層）におけるスケーラビリティとロバストネスを示す。

提案手法

• F3は、前向き重みとは無関係に固定されたランダムなフィードバック重みを用いた直接的なランダムフィードバック接続に逆伝播を置き換える。
• 前のエポックからの遅延した誤差信号が保存され、次のエポックの前向き伝播でサンプルごとのスケーリング要因として使用される。
• これらの遅延した誤差信号を用いて勾配を近似し、下流層に依存せずに前向き伝播中に重み更新が可能になる。
• 勾配計算をリアルタイムの逆伝播とは分離することで更新ロックを解消し、各層の独立した更新を可能にする。
• フィードバック経路は固定されており、誤差逆伝播を必要としないため、計算およびメモリのオーバーヘッドが低減される。
• アルゴリズムはMNIST、CIFAR-10、SGEMMを含む複数のアーキテクチャおよびデータセットに適用され、深さとフィードバック設計に関するアブレーションスタディが実施されている。

Figure 1 : F 3 (a) solves both the weight transport and the update locking problem. In contrast to prior approaches, it uses delayed error information in the updates, improving the predictive performance. The current error signal $e_{t}$ in epoch $t$ is stored (green) and used in the forward pass (b

実験結果

リサーチクエスチョン

• RQ1 遅延した誤差フィードバックは、誤差逆伝播を不要とする学習アルゴリズムの予測性能を向上させ得るか？
• RQ2 F3は、生物学的に妥当な手法と標準的な誤差逆伝播との間の性能差をどの程度縮小するか？
• RQ3 誤差逆伝播が学習に失敗するような深層ネットワーク（例：100層）において、F3はどのように動作するか？
• RQ4 F3は、逆伝播と同期を排除することで、効率的で並列的、またはデバイス内での学習を可能にするか？
• RQ5 F3は、DFA、DRTP、FAといった先行手法と比較して、さまざまなタスクにおける精度とロバストネスにおいて優れているか？

主な発見

• 回帰タスクにおいて、F3は生物学的に妥当な学習と誤差逆伝播との間の性能差を最大96%まで縮小した。
• 分類タスクにおいて、F3は先行する誤差逆伝播を不要とする手法と比較して、性能差を50%以上縮小した。
• F3は、誤差逆伝播が25層を超えるネットワークの学習に失敗する中で、100層のネットワークを最小限の性能低下で学習に成功した。
• 誤差逆伝播が25層を超えて急激に性能が低下するのに対し、F3は深さに対して優れたロバストネスを示した。
• F3は、回帰およびSGEMMのような複雑なタスクにおいて、すべてのテストされたネットワーク深さでDRTPおよびDFAを上回る予測性能を達成した。
• 誤差逆伝播よりも多くのエポックを要するものの、F3は逆伝播を排除し通信オーバーヘッドを低減することで、デバイス内および神経形状学習を可能にした。

(a) Test loss over time.