[論文レビュー] The Convergence Rate of Neural Networks for Learned Functions of Different Frequencies

Ronen Basri, David Jacobs+2 more|arXiv (Cornell University)|Jun 2, 2019

Neural Networks and Applications参考文献 26被引用数 90

ひとこと要約

本論文は、勾配降下法で訓練されたニューラルネットワークが異なる周波数の関数をどのように学習するかを分析し、低周波成分の学習がより速く行われることを示すとともに、学習する奇周波数に対するバイアスの影響を強調している。

ABSTRACT

We study the relationship between the frequency of a function and the speed at which a neural network learns it. We build on recent results that show that the dynamics of overparameterized neural networks trained with gradient descent can be well approximated by a linear system. When normalized training data is uniformly distributed on a hypersphere, the eigenfunctions of this linear system are spherical harmonic functions. We derive the corresponding eigenvalues for each frequency after introducing a bias term in the model. This bias term had been omitted from the linear network model without significantly affecting previous theoretical results. However, we show theoretically and experimentally that a shallow neural network without bias cannot represent or learn simple, low frequency functions with odd frequencies. Our results lead to specific predictions of the time it will take a network to learn functions of varying frequency. These predictions match the empirical behavior of both shallow and deep networks.

研究の動機と目的

• 周波数ベースの学習ダイナミクスを検討することで、過剰なパラメータを持つネットワークがなぜ良好に一般化するのかを動機づけ、分析する。
• 超球面上の訓練データが学習速度を支配する球面調和関数の固有関数を導く様子を特徴づける。
• バイアス項が奇周波数成分の学習可能性とそれに伴う収束挙動にどのように影響するかを示す。
• 周波数ごとの学習時間に関する理論的予測を提示し、浅いネットワークと深いネットワークの実験的検証を行う。

提案手法

• ReLU活性化を用いた線形化されたレジームにおける2層ネットワークの勾配降下ダイナミクスをモデル化する。
• Z行列および訓練ダイナミクスを捉えるGram/H∞行列を定義する。
• 一様な球面データの下で H^∞ の固有値/固有関数を導出し、球面調和関数を固有関数として示す。
• バイアスを含むようにモデルを拡張し、それが固有構造と奇周波数の学習可能性をどのように変えるかを示す。
• Funk-Hecke 定理を用いて球面上の畳み込みカーネルを解析し、K^∞およびK̄^∞ の閉形式の固有値を得る。
• 異なる周波数とネットワーク深さに対する収束速度を経験的に検証し、二乗法的な k-スケーリング予測と比較する。

実験結果

リサーチクエスチョン

• RQ1 目標関数の周波数が過剰パラメータ化されたネットワークにおける勾配降下の収束速度にどう影響するか？
• RQ2 バイアス項を含めることが奇周波数成分の学習可能性に与える影響は何か？
• RQ3 理論的固有値/固有関数は、浅いネットワークと深いネットワークで観測される学習時間に対応するか？
• RQ4 1次元の円形データから高次元の超球面への拡張はどのようになるか？
• RQ5 観測された周波数ベースの学習ダイナミクスは一般化と早期停止現象を説明できるか？

主な発見

• ターゲット関数の低周波成分は、勾配降下の下で高周波成分よりも速く学習される。
• バイアスなしのネットワークでは、k ≥ 3 の奇周波数はヌル空間にあり、学習したり表現したりできない。
• バイアスがある場合、奇周波数は学習可能となり、固有ベクトルは球面調和関数のままで、周波数間で学習速度がほぼ同等になる。
• 周波数 k の収束時間は k に対して二乗比でスケールし（例: 1D では k^2）、次元 d では概ね k^d に比例して増加する。浅層・深層アーキテクチャの実験結果と一致する。
• 経験的な収束時間は、2層ネット、深層ネット、スキップ接続を持つネットワーク全体で理論予測と一致し、バイアスは奇周波数の学習可能性を改善する。
• この解析は、勾配降下が周波数ベースの正則化として機能し、学習中に低周波（より滑らかな）解を有利にすることを示唆する。