[論文レビュー] Stochastic Gradient Descent-Induced Drift of Representation in a Two-Layer Neural Network

Farhad Pashakhanloo, Alexei A. Koulakov|arXiv (Cornell University)|Feb 6, 2023

Neural dynamics and brain function被引用数 6

ひとこと要約

本稿は、継続的オンライン学習の過程で、2層線形ニューラルネットワークにおける確率的勾配降下法（SGD）が表徴のずれを引き起こすメカニズムを調査する。最小損失多様体の法線成分と接線成分にパラメータ空間のダイナミクスを分解することで、隠れ層の表徴に対する拡散係数を解析的に導出し、頻繁に提示される刺激ほどずれが遅いことを示した。これは、梨皮皮質における実験的観察と整合的である。

ABSTRACT

Representational drift refers to over-time changes in neural activation accompanied by a stable task performance. Despite being observed in the brain and in artificial networks, the mechanisms of drift and its implications are not fully understood. Motivated by recent experimental findings of stimulus-dependent drift in the piriform cortex, we use theory and simulations to study this phenomenon in a two-layer linear feedforward network. Specifically, in a continual online learning scenario, we study the drift induced by the noise inherent in the Stochastic Gradient Descent (SGD). By decomposing the learning dynamics into the normal and tangent spaces of the minimum-loss manifold, we show the former corresponds to a finite variance fluctuation, while the latter could be considered as an effective diffusion process on the manifold. We analytically compute the fluctuation and the diffusion coefficients for the stimuli representations in the hidden layer as functions of network parameters and input distribution. Further, consistent with experiments, we show that the drift rate is slower for a more frequently presented stimulus. Overall, our analysis yields a theoretical framework for better understanding of the drift phenomenon in biological and artificial neural networks.

研究の動機と目的

• 生物的および人工ニューラルネットワークにおける表徴のずれのメカニズムを理解すること、特に継続的学習の文脈において。
• 確率的勾配降下法（SGD）のノイズのみが、梨皮皮質で観察されたように、刺激依存のずれを誘発できるかどうかを調査すること。
• ネットワークのパラメータと入力統計量を用いて、ずれレートを定量化する理論的枠組みを構築すること。
• 数値シミュレーションを用いてモデルを検証し、臭覚表徴のずれに関する実験データと比較すること。

提案手法

• オンライン継続的学習を想定し、L2正則化付きの平均二乗誤差損失関数を用いた2層線形順方向ネットワークをモデル化する。
• 最小損失多様体に対して、パラメータ空間を法線部分空間と接線部分空間に分解する。
• 接線空間におけるSGDの確率的ダイナミクスを分析することで、多様体上での有効な拡散過程を導出する。
• 入力分布とネットワークハイパーパramータの関数として、隠れ層の表徴の揺らぎおよび拡散係数の解析的表現を計算する。
• 損失関数の形状の幾何的解析を用いて、有限分散の揺らぎ（法線成分）とずれに似た進化（接線成分）を分離する。
• 低正則化および高入力多様性の下で漸近的近似を適用し、拡散係数の簡略化と解釈を可能にする。

Figure 1: (left) Neural network model. (right) Manifold of minimum-loss ( $\mathcal{M}$ ) in the parameter space.

実験結果

リサーチクエスチョン

• RQ1 SGDに起因するノイズのみで、ニューラルネットワークにおける刺激依存の表徴のずれを説明できるか？
• RQ2 刺激の提示頻度が表徴のずれレートにどのように影響するか？
• RQ3 ネットワークのパラメータ、入力統計量、およびずれダイナミクスとの間の解析的関係は何か？
• RQ4 法線空間と接線空間のダイナミクスは、全体のずれプロセスにどのように異なる寄与をしているか？

主な発見

• 頻繁に提示される刺激ほど、隠れ層の表徴におけるずれレートが遅くなる。これは、梨皮皮質における実験的発見と整合的である。
• 正則化が小さい場合、刺激表徴の拡散係数は、その入力信号強度の二乗に反比例する。
• 頻繁に提示される刺激に対しては、ずれレートはおよそ $ \frac{\eta \gamma^2}{s_a^2 s_d} $ に比例する。ここで $ s_a $ は刺激の信号分散を表す。
• モデルは、最小損失多様体上での接線方向の動きがずれを支配していると予測するが、法線方向の揺らぎは有界のままである。
• 入力統計量や刺激頻度の変動に応じて、解析的表現の拡散係数は数値シミュレーションと非常によく一致する。
• この枠組みは、解多様体上での有効な拡散のおかげで、継続的な表徴のずれが生じても安定したタスクパフォーマンスが維持され得ることを説明する。

Figure 2: Schematics showing (left) the probability distribution of the fluctuations outside the manifold, (middle) the gradient vectors on and near the manifold, and (right) the tangential component of the gradient.