[論文レビュー] On the Spectral Bias of Neural Networks

Nasim Rahaman, Aristide Baratin+6 more|arXiv (Cornell University)|Jun 22, 2018

Neural Networks and Applications被引用数 164

ひとこと要約

この論文は深層 ReLU ネットワークがスペクトルバイアを示し、低周波数成分（滑らかさ）を先に学習し、データマニホールドの幾何学が高周波の学習へどのように影響するかを分析している。

ABSTRACT

Neural networks are known to be a class of highly expressive functions able to fit even random input-output mappings with $100\%$ accuracy. In this work, we present properties of neural networks that complement this aspect of expressivity. By using tools from Fourier analysis, we show that deep ReLU networks are biased towards low frequency functions, meaning that they cannot have local fluctuations without affecting their global behavior. Intuitively, this property is in line with the observation that over-parameterized networks find simple patterns that generalize across data samples. We also investigate how the shape of the data manifold affects expressivity by showing evidence that learning high frequencies gets \emph{easier} with increasing manifold complexity, and present a theoretical understanding of this behavior. Finally, we study the robustness of the frequency components with respect to parameter perturbation, to develop the intuition that the parameters must be finely tuned to express high frequency functions.

研究の動機と目的

• フーリエ解析を用いてニューラルネットのスペクトルバイアを動機づけ、形式化する。
• ReLU ネットワークのフーリエスペクトルとその減衰特性を特徴づける。
• 低周波数がより速く学習され、パラメータの摂動に対してよりロバストであることを示す。
• データマニフォールドの幾何学が高周波の学習可能性にどのように影響するかを調べる。
• 学習ダイナミクスとマニフォールド効果に関する経験的および理論的洞察を提供する。

提案手法

• ReLU ネットワークを連続分岐直線関数（CPWL）として表現し、f(x) を線形領域の和として表す（Eq. 2）。
• ReLU ネットワークのフーリエ変換を計算し、有理関数としての形を導出する（Eq. 6）。
• ほとんどの方向でスペクトルが k^{-(d+1)} で減衰する一方、特定の方向では k^{-2} 程度まで遅く減衰することを示す。
• スペクトルの境界をリプシッツ定数とネットワークパラメータに関連づける（Eq. 7）。
• スペクトルバイアとパラメータ摂動に対するロバスト性を観察する合成実験を行う（Experiment 1 および 2）。
• 周波数ノイズ実験（Experiment 3）および一般化周波数射影（Experiment 4）を通じて MNIST の実データ挙動を研究する。
• データマニフォールドの幾何学が高周波の学習容易性に与える影響を検討する（Section 4 および Experiments 5-6）。

実験結果

リサーチクエスチョン

• RQ1 深い ReLU ネットワークは低周波成分の学習に体系的なバイアを示すのか？
• RQ2 訓練後のネットワークのフーリエスペクトルは、そのアーキテクチャとパラメータとどのように関連するか？
• RQ3 データマニフォールドの形状は高周波成分の学習の容易さに影響するか？
• RQ4 低周波と高周波の成分はネットワークパラメータの摂動に対してどの程度ロバストか？
• RQ5 複雑なマニフォールドにデータを埋め込むことは、実践的に周波数ベースの学習可能性にどう影響するか？

主な発見

• ネットワークはトレーニング中に低周波を先に学習することを優先する。
• 低周波成分は高周波成分よりもネットワークパラメータのランダムな摂動に対してロバストである。
• ReLU ネットワークのフーリエスペクトルは非等方的に減衰し、ほとんどの方向で k^{-(d+1)}、領域の面に直交する方向では最大で k^{-2} の減衰となる。
• データがより複雑で低次元のマニフォールド上にあると、高周波を学習することが容易になる。
• マニフォールドの埋め込みは、マニフォールドの幾何に依存して、入力空間の大きな周波数をより小さなネットワーク周波数で表現できるようにする。
• MNIST の経験的結果は、合成実験と一致する周波数依存の効果を示す。