[論文レビュー] Overview frequency principle/spectral bias in deep learning

Zhi‐Qin John Xu, Yaoyu Zhang+1 more|arXiv (Cornell University)|Jan 19, 2022

Neural Networks and Applications被引用数 23

ひとこと要約

この論文は深層学習における周波数原理（F-Principle）またはスペクトルバイアを概説し、DNNsが低周波成分を先に適合しがちであることを示し、実証的、理論的、応用志向の含意を論じる。

ABSTRACT

Understanding deep learning is increasingly emergent as it penetrates more and more into industry and science. In recent years, a research line from Fourier analysis sheds lights on this magical "black box" by showing a Frequency Principle (F-Principle or spectral bias) of the training behavior of deep neural networks (DNNs) -- DNNs often fit functions from low to high frequency during the training. The F-Principle is first demonstrated by onedimensional synthetic data followed by the verification in high-dimensional real datasets. A series of works subsequently enhance the validity of the F-Principle. This low-frequency implicit bias reveals the strength of neural network in learning low-frequency functions as well as its deficiency in learning high-frequency functions. Such understanding inspires the design of DNN-based algorithms in practical problems, explains experimental phenomena emerging in various scenarios, and further advances the study of deep learning from the frequency perspective. Although incomplete, we provide an overview of F-Principle and propose some open problems for future research.

研究の動機と目的

• 深層学習理論を周波数の観点から動機づけるために、DNNsが低周波関数を好む理由を強調する。
• 1Dおよび2D問題、および高次元設定におけるF-Principleの実証的証拠の概要を提供する。
• 理想化された、一般的な設定、およびNTK系にわたるF-Principleの理論的分析を要約する。
• 周知の一般化、PDE解法、および周波数バイアに触発されたアルゴリズム設計への含意を議論する。

提案手法

• トレーニング中の周波数成分を追跡する1D、2D、および高次元実験からの実証的知見をレビューおよび統合する。
• 損失のフーリエ領域における周波数減衰に対する活性化関数の正規性の影響を分析する。
• 勾配情報の含まれる損失関数形式と周波数収束への影響を議論する（例：勾配情報の含有）。
• 高周波成分が固有値の大きさとともに急速に減衰することを示すNTKベースの分析を要約する。
• 高次元データにおける周波数収束を測定するための射影・フィルタリング手法を提示する。
• 理想化された活性化、一般設定、およびNTK系の結果を含む理論的枠組みを概説する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中にDNNsは低周波成分を先に学習し、高周波成分を後で学習する傾向を一貫して示すのか？
• RQ2 活性化関数と損失の定式化はDNNsの周波数領域収束挙動にどのような影響を与えるのか？
• RQ3 NTK系はネットワーク幅とデータ分布全体で周波数原理を厳密に説明する機構を提供するのか？
• RQ4 一般化、PDE解法、およびアルゴリズム設計に対するF-Principleの実践的含意は何か？
• RQ5 理論と応用を横断してF-Principleを理解する上で、残されている未解決の問題は何か？

主な発見

• DNNsはトレーニング中にターゲット関数を低周波から高周波へと適合させる傾向があり、低周波の暗黙的バイアスがあることを示す。
• 活性化関数の正規性はフーリエ領域での減衰を誘発し、低周波成分のより速い収束を促進する。
• 損失に勾配情報を含めると高周波の収束が加速されることがある。
• NTKベースの分析では、低周波成分は固有値が大きいものと関連し、それらのモードの収束が速いことを説明する。
• 射影とフィルタリングの分析は、MNISTやCIFAR-10のような実データセットで低周波が優勢であることを示す。
• F-Principleは一般化、高周波タスクのためのアルゴリズム設計、および科学計算の機会を理解する枠組みを提供する。