[論文レビュー] How connectivity structure shapes rich and lazy learning in neural circuits

Yuhan Helena Liu, Aristide Baratin+4 more|arXiv (Cornell University)|Oct 12, 2023

Neural Networks and ApplicationsComputer Science被引用数 3

ひとこと要約

本稿は、初期接続構造—特に重み行列の有効ランク—が神経回路内の学習ダイナミクスにどのように影響を与えるかを調査する。理論的分析と生物学的に妥当な接続性を持つ再帰的ネットワークの実験を通じて、高ランク初期化は一般的に学習が遅くなる（ネットワークの変化が最小限）ことを示し、低ランク初期化は学習が豊かになる傾向がある。しかし、タスク統計と整合性を持つ場合、低ランク設定でも学習の遅さが誘発されることがある。

ABSTRACT

In theoretical neuroscience, recent work leverages deep learning tools to explore how some network attributes critically influence its learning dynamics. Notably, initial weight distributions with small (resp. large) variance may yield a rich (resp. lazy) regime, where significant (resp. minor) changes to network states and representation are observed over the course of learning. However, in biology, neural circuit connectivity could exhibit a low-rank structure and therefore differs markedly from the random initializations generally used for these studies. As such, here we investigate how the structure of the initial weights -- in particular their effective rank -- influences the network learning regime. Through both empirical and theoretical analyses, we discover that high-rank initializations typically yield smaller network changes indicative of lazier learning, a finding we also confirm with experimentally-driven initial connectivity in recurrent neural networks. Conversely, low-rank initialization biases learning towards richer learning. Importantly, however, as an exception to this rule, we find lazier learning can still occur with a low-rank initialization that aligns with task and data statistics. Our research highlights the pivotal role of initial weight structures in shaping learning regimes, with implications for metabolic costs of plasticity and risks of catastrophic forgetting.

研究の動機と目的

• 初期重み行列の有効ランクがニューラルネットワーク内の学習制度にどのように影響を与えるかを理解すること。
• しばしば独立同分布（i.i.d.）の初期化を仮定する理論的深層学習研究と、生物学的神経回路で観察される低ランク接続性の間のギャップを埋めること。
• 低ランク初期化が依然として効果的に遅い学習をもたらす条件が存在するかどうかを調査すること。
• 神経科学的関連タスクを用いた再帰的ニューラルネットワークの訓練を通じて、理論的発見を検証すること。

提案手法

• 2層の前向き線形ネットワークを用いた理論的分析により、初期重みランクが学習ダイナミクスに与える期待される影響を導出する。
• 学習の豊かさ／遅さの指標として、事前に定義するのではなく、訓練後に定義される Neural Tangent Kernel (NTK) の移動量を用いる。
• 電子顕微鏡（EM）再構成など実験的に得られた接続パターンを用いた、2AFC、DMS、CXTなどのタスクで訓練された再帰的ニューラルネットワーク（RNN）における数値実験。
• 特異値分解（SVD）を用いて初期重みランクを体系的に変化させ、『ハード』および『ソフト』の低ランク初期化を生成する。
• 実験的に得られた接続性行列をシャッフルすることで、観察された効果がスパarsityやネットワークトポロジーではなく、低ランク構造に起因するかを検証する。
• ガウス分布、一様分布、ソフトランク、ハードランクなど、異なる初期化と学習率、ゲイン、ネットワークサイズなどのハイパーパrameterの下での学習ダイナミクスの比較。

実験結果

リサーチクエスチョン

• RQ1 初期重み行列の有効ランクは、NTK移動量という指標で測定したネットワーク適応度に、どの程度影響を与えるか？
• RQ2 初期重みが生物学的接続性パターンに従って構造化された場合、高ランク初期化と遅い学習の従来の関連性は維持されるか？
• RQ3 初期重みがタスクおよびデータ統計と整合している場合、低ランク初期化でも依然として効果的に遅い学習が得られるか？
• RQ4 接続性ランクと学習制度の関係が、異なるネットワークアーキテクチャ、初期化分布、ハイパーパrameterに対してどの程度頑健であるか？

主な発見

• 高ランク初期化では、訓練中にNTK移動量が顕著に小さくなることが示され、理論的分析およびRNN実験の両方で、効果的な遅い学習が確認された。
• 低ランク初期化では、2AF、DMS、CXTなど複数の神経科学的タスクにおいて、NTK移動量が大きくなる傾向があり、効果的な豊かな学習が得られた。
• 初期重みがタスク統計と整合している場合（例えば、データ共分散の特定の射影を通じて）、低ランク初期化でも効果的に遅い学習が得られる。
• 低ランク構造が学習制度に与える影響は、スパarsityやネットワークトポロジーそのものではなく、EM由来の接続性をシャッフルすることでトレンドが消失することから、その影響は構造に起因している。
• ガウス分布、一様分布、学習率、ゲイン、ネットワークサイズにかかわらず、高ランク → より高い遅さという根本的傾向が一貫して確認された。
• 2層線形ネットワークにおいて、高ランク初期化がより高いタングエント・カーネル整合性をもたらすという理論的予測が、実証的に確認された。