[論文レビュー] Theory of the Frequency Principle for General Deep Neural Networks

Tao Luo, Zheng Ma+2 more|arXiv (Cornell University)|Jun 21, 2019

Neural Networks and Applications参考文献 25被引用数 27

ひとこと要約

この論文は、一般の深層ニューラルネットワークにおける周波数原理（F-Principle）の厳密な理論的基盤を確立し、訓練の初期段階、中間段階、最終段階のすべてにおいて、損失の低減と出力の変化が系統的に低周波成分によって支配されることを示している。解析は任意の活性化関数、一般のデータ分布、広いクラスの損失関数を有する多層ネットワークに適用可能であり、周波数ドメインにおける損失の減衰率がネットワークの正則性を反映することを証明している。

ABSTRACT

Along with fruitful applications of Deep Neural Networks (DNNs) to realistic problems, recently, some empirical studies of DNNs reported a universal phenomenon of Frequency Principle (F-Principle): a DNN tends to learn a target function from low to high frequencies during the training. The F-Principle has been very useful in providing both qualitative and quantitative understandings of DNNs. In this paper, we rigorously investigate the F-Principle for the training dynamics of a general DNN at three stages: initial stage, intermediate stage, and final stage. For each stage, a theorem is provided in terms of proper quantities characterizing the F-Principle. Our results are general in the sense that they work for multilayer networks with general activation functions, population densities of data, and a large class of loss functions. Our work lays a theoretical foundation of the F-Principle for a better understanding of the training process of DNNs.

研究の動機と目的

• F-Principleの一般理論的枠組みを、狭いケースにとどまらず、一般の深層ニューラルネットワークに拡張すること。
• DNNが訓練中に低周波から高周波へとターゲット関数を学習する仕組みを厳密に特徴づけること。
• F-Principleに関する先行の経験的および限定的な理論的知見を、任意の活性化関数とデータ分布を有する一般の多層ネットワークに拡張すること。
• フーリエ解析を用いて、初期段階、中間段階、最終段階のすべての訓練段階におけるF-Principleを分析すること。
• 一般の損失関数、特に $L^p$ 損失（$p \geq 2$）の下でのF-Principleの理解を統一すること。

提案手法

• フーリエ解析を用いて、ネットワーク出力と損失関数を周波数成分に分解する。
• 高周波と低周波のフーリエモードの $L^2$ ノルム比を用いて周波数優位性を定義する。
• 平均場近似とPDEベースの近似を用いて、周波数ドメインにおける勾配フローのダイナミクスをモデル化する。
• 周波数帯域における $L^2$ ノルムを用いて、損失とネットワーク出力の変化率について周波数内容に基づく境界を導出する。
• 活性化関数とパラメータダイナミクスの正則性仮定を用いて、高周波成分の減衰を制御する。
• 最小値におけるヘッセ行列の非退化性を用いて、周波数ドメインにおける勾配対損失比の有界性を保証する。

実験結果

リサーチクエスチョン

• RQ1 F-Principleは、一般の深層ニューラルネットワークにおいて、すべての訓練段階にわたり普遍的に成り立つか？
• RQ2 一般の活性化関数とデータ分布に対して、訓練中に損失および出力の周波数成分はどのように変化するか？
• RQ3 $L^p$ 損失関数（$p \geq 2$）に対して、F-Principleを厳密に証明できるか、$L^2$ に限らないか？
• RQ4 ネットワークの正則性は、損失関数における高周波成分の減衰率にどのように寄与するか？
• RQ5 周波数ドメインにおける勾配フローのダイナミクスは、損失関数の形状とどのように関係するか？

主な発見

• 訓練の初期段階および最終段階において、平均二乗誤差（MSE）の変化は、低周波成分によって支配される。
• 一般の $L^p$ 損失（$p \geq 2$）に対して、DNN出力の変化は初期段階および最終段階で低周波成分によって支配される。
• 中間段階では、MSEの半減が低周波成分によって支配され、F-Principleがすべての段階で確認される。
• 周波数ドメインにおける損失の減衰率は、ニューラルネットワークのパラメータおよび活性化関数の正則性と直接関連している。
• 理論的枠組みは、標準的な活性化関数（ReLU、シグモイド、tanh）を有する任意の多層ネットワーク、一般のデータ密度、広いクラスの損失関数に対して成立する。
• 解析により、高周波成分対総勾配ノルム比が時間とともに一様に減少することが証明され、低周波から高周波への系統的な学習が保証される。