[論文レビュー] A self consistent theory of Gaussian Processes captures feature learning effects in finite CNNs

Gadi Naveh, Zohar Ringel|arXiv (Cornell University)|Jun 8, 2021

Gaussian Processes and Bayesian Inference被引用数 6

ひとこと要約

この論文は、初期化時のネットワークの高次モーメントに基づく非線形なターゲットシフトを導入することで、有限サイズの畳み込みニューラルネットワーク（CNN）における特徴抽出のメカニズムを自己整合的ガウス過程（GP）理論として確立する。このフレームワークは、特徴抽出とラージラーニングの間で明確な相転移を示し、無限幅極限から大きく離れた領域でも実験結果と強く一致する。これにより、標準的なGP近似を超えた有限DNN効果を非摂動的かつ解析的に扱えるツールが得られる。

ABSTRACT

Deep neural networks (DNNs) in the infinite width/channel limit have received much attention recently, as they provide a clear analytical window to deep learning via mappings to Gaussian Processes (GPs). Despite its theoretical appeal, this viewpoint lacks a crucial ingredient of deep learning in finite DNNs, laying at the heart of their success -- feature learning. Here we consider DNNs trained with noisy gradient descent on a large training set and derive a self consistent Gaussian Process theory accounting for strong finite-DNN and feature learning effects. Applying this to a toy model of a two-layer linear convolutional neural network (CNN) shows good agreement with experiments. We further identify, both analytical and numerically, a sharp transition between a feature learning regime and a lazy learning regime in this model. Strong finite-DNN effects are also derived for a non-linear two-layer fully connected network. Our self consistent theory provides a rich and versatile analytical framework for studying feature learning and other non-lazy effects in finite DNNs.

研究の動機と目的

• 実世界のDNNの成功に不可欠な有限DNNにおける特徴抽出を捉えることができない、ガウス過程（GP）近似の限界を克服すること。
• 標準的な無限幅GPやNTK極限を超えて、強い有限DNN効果（非ラージラーニングのダイナミクスを含む）を扱える非摂動的解析的フレームワークを構築すること。
• 解析的および数値的手法を用いて、有限DNNにおける特徴抽出とラージラーニングの間の相転移を特定・特徴付けること。
• 一般化性能と予測性能を向上させるために、標準GP事前分布を超えて非線形的かつ有限幅補正を含むGPフレームワークを拡張すること。
• 特に畳み込みアーキテクチャにおいて、有限DNNの隠れ層における重みダイナミクスと統計的性質を統一的に解析するためのツールを提供すること。

提案手法

• ノイズあり勾配降下法で学習される有限DNNに対して、初期化時のネットワーク出力の高次モーメントを用いて有限幅補正を反映するシフトされたターゲット関数を組み込んだ自己整合的GP理論を導出する。
• 初期化時のDNN出力の2次および3次モーメントを含む非線形自己整合方程式を導入し、ターゲットシフトを予測することで、特徴抽出効果の正確なモデル化を可能にする。
• 教師-生徒設定下の2層線形CNNにこのフレームワークを適用し、無限幅極限から大きく離れた強い有限DNN領域でも、実験結果と一致する解析的予測を導出する。
• 隠れ層重みの事後共分散を分析することで、スペクトル的特徴に基づいて特徴抽出とラージラーニングの間の明確な相転移を同定する。
• 非線形2層全結合ネットワークへこのアプローチを拡張し、有限DNN補正のおかげで標準GP近似よりも顕著な性能向上を示す。
• 漸近的解析と大Nスケーリングを用いて、主要パラメータ（α, β）の減衰率を導出し、n ~ MdがDNNパラメータに十分な制約を提供し、一般化性能が良いことを保証することを示す。

実験結果

リサーチクエスチョン

• RQ1 標準的な無限幅GP近似に欠けている有限DNNにおける特徴抽出効果を捉えるために、ガウス過程フレームワークをどのように拡張できるか？
• RQ2 ノイズあり勾配降下法で学習される有限DNNにおいて、高次モーメント（例：3次モーメント）が有効なターゲットシフトを決定する役割を果たすか？
• RQ3 有限CNNにおける特徴抽出とラージラーニングの間には明確な相転移が存在するか？ また、それが解析的に特徴付けられるか？
• RQ4 データに存在する制約（例：正定値性、重み共有）を事前分布が捉えていない場合に、有限DNN補正が一般化性能をどの程度向上させるか？
• RQ5 特に隠れ層重みの事後共分散スペクトルの統計的性質は、有限DNNにおける特徴抽出の有無をどのように反映するか？

主な発見

• 提案された自己整合的GP理論は、ノイズあり勾配降下法で学習された有限DNNの平均予測器を、無限幅極限から大きく離れた領域でも実験結果と強く一致する精度で予測できる。
• 理論は2層線形CNNにおいて、特徴抽出とラージラーニングの間の明確な相転移を同定し、ノイズのあるWishart行列における低ランク信号回復と類似した挙動を示す。
• 特徴抽出フェーズは、生徒の隠れ層重みの事後共分散に明確なスペクトル的特徴を示すが、これは教師の特徴が十分に強い場合にのみ現れる。
• 有限DNN補正は、標準GP事前分布よりも顕著に性能を向上させ、特にデータが制約を課す場合（例：正定値性、重み共有）に顕著である。
• 漸近的解析により、パラメータαとβがO(σ²/(λ₀n))の速度で減衰することが示され、n ~ Mdが教師のパラメータに近いDNNパラメータを十分に制約するための条件であることが確認され、良好な一般化のスケーリングが裏付けられる。
• このフレームワークは、非摂動的かつ解析的に取り扱える方法を提供し、線形モデルにとどまらず非線形アーキテクチャにも適用可能な、有限DNNにおける非ラージラーニング効果（重みダイナミクスや一般化）を研究するための強力なツールである。