[論文レビュー] An analytic theory of shallow networks dynamics for hinge loss classification

Franco Pellegrini, Giulio Biroli|arXiv (Cornell University)|Jun 19, 2020

Neural Networks and Applications参考文献 37被引用数 5

ひとこと要約

この論文は、二値分類におけるヒンジ損失を用いた浅層ニューラルネットワークの学習ダイナミクスの解析的平均場理論を開発する。データが時間に依存する自己整合的単一ノード問題にネットワークを写像することで、線形分離可能で球対称なデータにおけるパラメータの進化を解析的に解き、リッチ・ラジー学習の領域間の遷移を明らかにするとともに、有限サイズ補正を用いて過学習および誤ラベル化の影響を定量化する。

ABSTRACT

Neural networks have been shown to perform incredibly well in classification tasks over structured high-dimensional datasets. However, the learning dynamics of such networks is still poorly understood. In this paper we study in detail the training dynamics of a simple type of neural network: a single hidden layer trained to perform a classification task. We show that in a suitable mean-field limit this case maps to a single-node learning problem with a time-dependent dataset determined self-consistently from the average nodes population. We specialize our theory to the prototypical case of a linearly separable dataset and a linear hinge loss, for which the dynamics can be explicitly solved. This allow us to address in a simple setting several phenomena appearing in modern networks such as slowing down of training dynamics, crossover between rich and lazy learning, and overfitting. Finally, we asses the limitations of mean-field theory by studying the case of large but finite number of nodes and of training samples.

研究の動機と目的

• ヒンジ損失を用いた浅層ニューラルネットワークの学習ダイナミクスに対する取り扱いやすい解析的理論の構築を目的とする。
• 解ける設定においてリッチ・ラジー学習の領域の間の相互作用を理解することを目的とする。
• 有限幅・有限サンプルのネットワークにおける過学習および誤ラベル化の影響を定量化することを目的とする。
• 現実的な設定における平均場近似の破綻を検証することで、平均場近似の妥当性を検証することを目的とする。

提案手法

• 大M極限におけるノード集団の平均化により、パラメータダイナミクスの平均場方程式を導出する。
• ノード集団の平均に依存する自己整合的有効データ分布を用いる。
• 線形分離可能で球対称なデータおよび線形ヒンジ損失に対して、ダイナミクスを解析的に解く。
• ガウス積分と経験的平均を用いて、平均場理論の有限サイズ補正を計算する。
• 誤ラベル化を摂動として導入し、そのダイナミクスおよび過学習への影響を検討する。
• 数値シミュレーションを実施し、現実の学習実行からの経験的データと比較することで検証する。

実験結果

リサーチクエスチョン

• RQ1 浅層ネットワークにおけるヒンジ損失の学習ダイナミクスは、平均場極限においてどのように振る舞うか？
• RQ2 線形分離可能で球対称なデータセットにおいて、パラメータの進化の解析的形は何か？
• RQ3 この設定において、リッチ・ラジー学習の領域はどのように出現し、どのように遷移するか？
• RQ4 有限幅・有限サンプルのネットワークにおける過学習の原因は何か、そしてどのように定量化できるか？
• RQ5 誤ラベル化はダイナミクスにどのように影響を与え、過学習をどのように加速させるか？

主な発見

• 平均場理論により、時間に依存するデータを有する単一ノード問題に、全ネットワークのダイナミクスが写像され、解析的解法が可能になる。
• パラメータノルムの時間発展およびデータ方向へのアライメントの観点から、リッチ・ラジー学習の領域間の遷移が解析的に特徴付けられる。
• 過学習は、データ分布における有限サイズのフラクチュエーションに起因し、√(d−1)fU/(2N) のスケーリングを示す項によって定量化される。ここで fU(t) は未満たし例の割合である。
• 誤ラベル化は、持続的で逆方向の勾配項を導入し、学習を遅くし、過学習を加速させる。
• 平均場理論の有限サイズ補正は、過学習の発生時期および重み成分のダイナミクスを正確に予測する。
• 数値シミュレーションにより、解析的予測が確認され、初期学習段階では良好な一致を示し、過学習領域では乖離が生じる。