[論文レビュー] Beyond accuracy: generalization properties of bio-plausible temporal credit assignment rules

Yuhan Helena Liu, Arna Ghosh+3 more|arXiv (Cornell University)|Jun 2, 2022

Advanced Memory and Neural Computing被引用数 7

ひとこと要約

本稿は、再帰的ニューラルネットワークにおける生物学的に妥当な時間的信用配分ルールが、正確性を越えて一般化に与える影響を調査する。損失関数の曲率解析と力学系理論を用いて、これらのルールが近似誤差とヘッセ行列の固有ベクトルの間の整合性が悪いことにより、より高い曲率領域に収束し、一般化性能が悪化し、ばらつきが大きくなることを示している。これは、一般化ギャップの理論的説明と、それに対する生物学的に妥当な是正策を提供する。

ABSTRACT

To unveil how the brain learns, ongoing work seeks biologically-plausible approximations of gradient descent algorithms for training recurrent neural networks (RNNs). Yet, beyond task accuracy, it is unclear if such learning rules converge to solutions that exhibit different levels of generalization than their nonbiologically-plausible counterparts. Leveraging results from deep learning theory based on loss landscape curvature, we ask: how do biologically-plausible gradient approximations affect generalization? We first demonstrate that state-of-the-art biologically-plausible learning rules for training RNNs exhibit worse and more variable generalization performance compared to their machine learning counterparts that follow the true gradient more closely. Next, we verify that such generalization performance is correlated significantly with loss landscape curvature, and we show that biologically-plausible learning rules tend to approach high-curvature regions in synaptic weight space. Using tools from dynamical systems, we derive theoretical arguments and present a theorem explaining this phenomenon. This predicts our numerical results, and explains why biologically-plausible rules lead to worse and more variable generalization properties. Finally, we suggest potential remedies that could be used by the brain to mitigate this effect. To our knowledge, our analysis is the first to identify the reason for this generalization gap between artificial and biologically-plausible learning rules, which can help guide future investigations into how the brain learns solutions that generalize.

研究の動機と目的

• 再帰的ニューラルネットワークにおける生物学的に妥当な時間的信用配分ルールが、真の勾配降下法と同等に一般化するかどうかを調査すること。
• 合成シナプス重み空間における損失関数の曲率と一般化性能の関係を検討すること。
• 生物学的に妥当でない代替手法と比較して、なぜ生物学的に妥当なルールがより悪い一般化性能とより高いばらつきを示すのかを特定すること。
• これらの学習ルールが高曲率解にどのように偏るかを説明する理論的枠組みを構築すること。
• 脳にインspiredされた学習システムにおける一般化性能を向上させる生物学的に妥当な是正策を提案すること。

提案手法

• ベンチマークRNNタスクにおいて、最先端の生物学的に妥当な学習ルール（例：対称的e-prop、RFLO）と真の勾配降下法（BPTT）の間で、一般化性能と損失関数の曲率を実験的に比較する。
• 収束した重みにおける損失関数のヘッセ行列の固有値スペクトルを測定し、主な固有値に注目する。
• 力学系の解析を用いて、重み更新を離散的軌道としてモデル化し、勾配の整合性と曲率への偏りを結びつける定理を導出する。
• 近似誤差（誤差ベクトル）と上位のヘッセ行列固有ベクトルとの間のコサイン類似度を計算し、整合性を定量化する。
• 異なる最適化手法（SGDとAdam）と学習率を用いて実験を繰り返し、曲率トレンドの頑健性を検証する。
• BPTTを早期停止させて、生物学的に妥当なルールと同等のテスト精度を達成し、曲率と一般化性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 生物学的に妥当な時間的信用配分ルールは、RNNにおいて真の勾配降下法と同等に一般化するか？
• RQ2 収束時の損失関数の曲率と生物学的に妥当な学習ルールの一般化性能の間に相関があるか？
• RQ3 なぜ生物学的に妥当なルールは、重み空間においてより高い曲率領域に収束する傾向にあるのか？
• RQ4 勾配と誤差ベクトル（近似誤差）の整合性は、平坦な最小値または鋭い最小値への収束にどのように影響するか？
• RQ5 生物学的に妥当なルールと真の勾配降下法との間の一般化ギャップは、重み更新の理論的ダイナミクスによって説明可能か？

主な発見

• 最先端の生物学的に妥当な学習ルールは、複数のベンチマークタスクにおいて真の勾配降下法（BPTT）と比較して顕著に劣る一般化性能とより高いばらつきを示す。
• 一般化ギャップは主なヘッセ行列固有値と強く相関しており、高い固有値は一般化性能の悪化を示している。
• 生物学的に妥当なルールは、損失関数のヘッセ行列固有値スペクトルの急激なべき乗則の減衰から、合成シナプス重み空間においてより高い曲率領域に収束することが裏付けられている。
• 生物学的に妥当なルールにおける近似誤差ベクトルは、上位のヘッセ行列固有ベクトルと弱い整合性を示しており、これは平坦な最小値を避ける傾向の理由を説明している。
• 近似誤差ベクトルとヘッセ行列固有空間の整合性が悪いと、狭く高曲率の最小値への収束が生じることを示す理論的定理が導出された。
• BPTTを三要因ルールと同等のテスト精度に達するまで早期停止させても、依然として低い曲率とより良い一般化性能に収束しており、曲率が一般化差に果たす役割を確認した。