[論文レビュー] Explicitizing an Implicit Bias of the Frequency Principle in Two-layer Neural Networks

Yaoyu Zhang, Zhi‐Qin John Xu+2 more|arXiv (Cornell University)|May 24, 2019

Neural Networks and Applications参考文献 42被引用数 31

ひとこと要約

本稿では、深層ニューラルネットワークの低周波成分を最初に学習するという暗黙のバイアスを明示的に捉える線形化周波数原理（LFP）ダイナミクスモデルを提案する。周波数原理（FP）ノルムを用いて高周波成分をペナルティ化する等価な制約付き最適化問題を導出し、一般化誤差の事前境界を $1/\sqrt{M}$ のスケーリングで得た。この境界はネットワーク幅に依存せず、ターゲット関数のFPノルムが高くなるほど一般化誤差が増大することを示している。

ABSTRACT

It remains a puzzle that why deep neural networks (DNNs), with more parameters than samples, often generalize well. An attempt of understanding this puzzle is to discover implicit biases underlying the training process of DNNs, such as the Frequency Principle (F-Principle), i.e., DNNs often fit target functions from low to high frequencies. Inspired by the F-Principle, we propose an effective model of linear F-Principle (LFP) dynamics which accurately predicts the learning results of two-layer ReLU neural networks (NNs) of large widths. This LFP dynamics is rationalized by a linearized mean field residual dynamics of NNs. Importantly, the long-time limit solution of this LFP dynamics is equivalent to the solution of a constrained optimization problem explicitly minimizing an FP-norm, in which higher frequencies of feasible solutions are more heavily penalized. Using this optimization formulation, an a priori estimate of the generalization error bound is provided, revealing that a higher FP-norm of the target function increases the generalization error. Overall, by explicitizing the implicit bias of the F-Principle as an explicit penalty for two-layer NNs, our work makes a step towards a quantitative understanding of the learning and generalization of general DNNs.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワーク（DNN）が、学習サンプル数よりも多くのパラメータを持つにもかかわらず、なぜ一般化性能が良いのかという謎を解明すること。
• DNNが訓練中に低周波から高周波の成分を学習するという暗黙の周波数原理（F-Principle）バイアスを、扱いやすい数学的枠組みを用いて明示的にモデル化すること。
• 2層ReLUネットワークの一般化誤差境界を、学習済みモデルの知識を必要とせずに、ターゲット関数のFPノルムに明示的に依存する形で導出すること。
• F-Principleと、解空間における高周波成分をペナルティ化する制約付き最適化問題との間の関係を確立すること。

提案手法

• 勾配フローにおける異なる周波数成分に異なる学習優先順位を割り当てる線形化周波数原理（LFP）ダイナミクスモデルを提案する。
• 過パラメータ化領域で有効な2層ReLUネットワークの線形化平均場残差ダイナミクスを用いて、LFPモデルの妥当性を裏付ける。
• LFPダイナミクスの長期的解が、解空間における高周波成分をペナルティ化する周波数原理ノルム（FPノルム）を最小化する問題と数学的に同等であることを証明する。
• 学習プロセスを、FPノルムを明示的に最小化する制約付き最適化問題として定式化し、暗黙のバイアスを明示化する。
• ラデマッハ複雑度を用いてLFPモデルの一般化誤差を推定し、事前境界を導出する。
• パラメータを $d=1$ および $d=2$ で調整した周波数依存正則化項を有するリッジ回帰問題を数値的に解き、LFP解を近似する。

実験結果

リサーチクエスチョン

• RQ1 2層ReLUネットワークの訓練において観察される暗黙の周波数バイアスを、最終的な学習関数を正確に予測できる形で明示的にモデル化する方法は何か？
• RQ2 F-Principleダイナミクスと、明示的な正則化を持つ明確な最適化問題との間の数学的同等性は何か？
• RQ3 ターゲット関数のFPノルムは、2層ReLUネットワークの一般化誤差にどのように影響するか？
• RQ4 ネットワーク幅に依存せず、ターゲット関数の性質と学習サンプル数にのみ依存する事前一般化誤差境界を導出できるか？
• RQ5 線形化平均場残差ダイナミクスは、過パラメータ化領域におけるLFPモデルの妥当性をどのように裏付けるか？

主な発見

• LFPダイナミクスの長期的解は、解空間における高周波成分をペナルティ化するFPノルムを最小化する制約付き最適化問題と数学的に同等である。
• LFPモデルの一般化誤差は、$ \frac{2}{\sqrt{M}}\left\| f' \right\|_{\gamma}\left\| \gamma \right\|_{\ell^{2}} + 4\left\| f' \right\|_{\gamma}\left\| \gamma \right\|_{\ell^{2}}\sqrt{\frac{2\log(4/\delta)}{M}} $ で抑えられ、学習サンプル数 $M$ とターゲット関数のFPノルムに明示的な依存関係を示している。
• 一般化誤差境界は $1/\sqrt{M}$ のスケーリングに従い、ネットワークのパラメータ数に依存しない。これは、一般化性能がターゲット関数の周波数コンテンツによって支配されることを示している。
• ターゲット関数のFPノルムは一般化誤差の主要因である：FPノルムが大きいほど一般化誤差が大きくなる。
• 数値実験により、LFPモデルが広い2層ReLUネットワークの出力を正確に予測できることを確認し、その予測能力を裏付けた。
• 周波数正則化項を格子 $\mathbb{L}^d$ 上で計算する際の次元の呪いのため、$d > 2$ への拡張は行われていない。