[論文レビュー] Frequency Principle in Deep Learning with General Loss Functions and Its Potential Application

Zhi‐Qin John Xu|arXiv (Cornell University)|Nov 26, 2018

Model Reduction and Neural Networks参考文献 14被引用数 14

ひとこと要約

本論文は、周波数原理（F-Principle）—深層ニューラルネットワーク（DNN）が高周波成分よりも低周波成分を先に学習する現象—が、平均二乗誤差や交差エントロピーを含む一般の損失関数に対しても成立することを示している。著者らは理論的分析と実験によりこれを検証し、微分方程式を解く際の低周波成分の収束を加速できることを示し、DNNが低周波成分を捉えるのを活用し、古典的ソルバーが高周波成分を精緻化するハイブリッドDNN-Jacobi法を提案している。

ABSTRACT

Previous studies have shown that deep neural networks (DNNs) with common settings often capture target functions from low to high frequency, which is called Frequency Principle (F-Principle). It has also been shown that F-Principle can provide an understanding to the often observed good generalization ability of DNNs. However, previous studies focused on the loss function of mean square error, while various loss functions are used in practice. In this work, we show that the F-Principle holds for a general loss function (e.g., mean square error, cross entropy, etc.). In addition, DNN's F-Principle may be applied to develop numerical schemes for solving various problems which would benefit from a fast converging of low frequency. As an example of the potential usage of F-Principle, we apply DNN in solving differential equations, in which conventional methods (e.g., Jacobi method) is usually slow in solving problems due to the convergence from high to low frequency.

研究の動機と目的

• 周波数原理（F-Principle）が平均二乗誤差に限らず、交差エントロピーなどの他の一般的な損失関数に対しても成立することを確立すること。
• F-Principleが、古典的反復法で低周波収束が遅い微分方程式の数値解法を改善するために活用可能かどうかを調査すること。
• DNNの固有の低周波優先性を活用し、DNNと古典的反復ソルバー（例：ヤコビ法）を組み合わせたハイブリッド数値スキームを提案・検証することにより、収束速度の向上を図ること。
• 一般損失関数を用いたDNNの学習ダイナミクスが、低周波から高周波へと順次周波数成分を学習するという性質を理論的および実験的に裏付けること。

提案手法

• 一般損失関数を用いたDNN学習における勾配フローの理論的分析により、活性化関数のスペクトル減衰のため、損失勾配の周波数応答が低周波成分を優遇することを示した。
• 正規直交基底分解（例：フーリエ基底）を用いてDNN出力を表現し、学習過程における周波数係数の変化を追跡した。
• 交差エントロピー損失を用いた1次元分類タスクを用いた実験的検証により、低周波成分が高周波成分よりも先に学習されることを示した。
• ディリクレの原理を用いて1次元ポアソン方程式をDNNで解く応用を行い、DNNの学習ダイナミクスと古典的ヤコビ法・ガウス＝ザイデル法の周波数ドメインでの性能を比較した。
• ハイブリッドD-Jacobi法の設計：DNNを最初に訓練して低周波成分を捉え、その後DNN出力を古典的反復ソルバーの初期推定値として用い、高周波成分を精緻化する。
• 損失の平坦さと変動に基づいて、DNNから古典的ソルバーへの切り替えタイミングを適応的に制御する手法を実装し、過剰な早期切り替えや遅延切り替えを回避した。

実験結果

リサーチクエスチョン

• RQ1 平均二乗誤差を超える一般損失関数（例：交差エントロピー）を用いた場合でも、周波数原理（F-Principle）が成立するか？
• RQ2 DNNにおけるF-Principleを、古典的反復法で低周波収束が遅い微分方程式の解法に活用できるか？
• RQ3 DNNの固有の周波数バイアスを古典的ソルバーとどのように組み合わせて、全体の収束速度と精度を向上できるか？
• RQ4 ハイブリッド数値スキームにおいて、DNN学習から古典的反復ソルバーへの切り替えの最適タイミングは何か？
• RQ5 DNNの周波数バイアスは、ヤコビ法やガウス＝ザイデル法のような古典的ソルバーの収束行動とどの程度整合するか？

主な発見

• 理論的分析と実験により、F-Principleが交差エントロピー損失や平均二乗誤差を含む一般損失関数に対しても成立することが確認された。
• 交差エントロピー損失を用いた1次元分類タスクにおいても、DNNは依然として低周波成分を高周波成分よりも先に学習するため、F-Principleの一般性が裏付けられた。
• ポアソン方程式の解法において、DNNはヤコビ法よりも低周波成分の収束が速く、ヤコビ法は低周波成分で収束が遅いことが明らかになった。
• 損失の平坦さに達したタイミングでDNNから古典的ソルバーに切り替えた場合、D-Jacobiハイブリッド法はDNN単体またはヤコビ法単体よりも高速に収束した。
• 最適な切り替えタイミングにおけるDNN出力は、延長されたDNN学習後のDNN単体よりも無限大ノルム誤差が低く、より高い効率性を示した。
• 周波数ドメイン解析により、DNNは学習初期段階で高周波成分を抑制しており、多項式フィッティング（例：ルンゲの現象）で見られる振動的挙動を防いでいることが示された。