[論文レビュー] On the Activation Function Dependence of the Spectral Bias of Neural Networks

Qingguo Hong, Jonathan W. Siegel+2 more|arXiv (Cornell University)|Aug 9, 2022

Neural Networks and Applications被引用数 9

ひとこと要約

この論文は、ReLUニューラルネットワークにおけるスペクトルバイアスを、有限要素法との関連づけにより理論的に説明している。その結果、ReLUを「ハット活性化関数」（区分的線形Bスプライン）に置き換えることで、このバイアスが解消されることを予測している。実験的に、ハット活性化関数を用いたネットワークは著しく高速に学習が進み、一般化性能も向上しており、スペクトルバイアスが活性化関数に依存すること、普遍的ではないことが示された。

ABSTRACT

Neural networks are universal function approximators which are known to generalize well despite being dramatically overparameterized. We study this phenomenon from the point of view of the spectral bias of neural networks. Our contributions are two-fold. First, we provide a theoretical explanation for the spectral bias of ReLU neural networks by leveraging connections with the theory of finite element methods. Second, based upon this theory we predict that switching the activation function to a piecewise linear B-spline, namely the Hat function, will remove this spectral bias, which we verify empirically in a variety of settings. Our empirical studies also show that neural networks with the Hat activation function are trained significantly faster using stochastic gradient descent and ADAM. Combined with previous work showing that the Hat activation function also improves generalization accuracy on image classification tasks, this indicates that using the Hat activation provides significant advantages over the ReLU on certain problems.

研究の動機と目的

• ReLUニューラルネットワークが学習中に低周波数成分を好む理由を理解すること。
• ReLUネットワークと有限要素法との理論的枠組みを確立し、このバイアスを説明すること。
• ReLU活性化関数をハット関数（区分的線形Bスプライン）に変更することで、スペクトルバイアスが解消されることを予測すること。
• ハット活性化関数を用いたネットワークにおいて、スペクトルバイアスが存在しないことを実証的に検証すること。
• ハット活性化関数を用いたネットワークが、ReLUネットワークよりも高速に学習され、一般化性能が優れていることを示すこと。

提案手法

• 理論的分析により、ReLUネットワークをメッシュ上の区分的線形近似としてモデル化し、有限要素法と関連づける。
• ネットワークの特徴マップに関連するカーネル行列の固有値解析により、低周波数モードが速く学習されることを明らかにする。
• ハット活性化関数は、区分的線形Bスプライン基底関数として定義され、滑らかさとコンactサポートの点でReLUと異なる。
• ネットワークのヘッセ行列またはカーネル行列の固有値に対する理論的境界を導出し、ハット活性化関数を用いることでスペクトルバイアスが軽減されることを示す。
• 浅いおよび深いネットワークを用いた実証的検証を実施し、合成データおよび実データを用いて収束速度と周波数学習ダイナミクスを測定する。
• 確率的勾配降下法とADAMを用いて、学習効率を評価し、損失の収束と一般化性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 ReLUネットワークにおけるスペクトルバイアスは、その活性化関数に起因するものか、あるいは過パラメータ化モデルの一般的性質か？
• RQ2 有限要素法との関連づけにより、スペクトルバイアスを理論的に説明できるか？
• RQ3 ReLUをハット活性化関数に置き換えることで、ニューラルネットワーク学習におけるスペクトルバイアスが解消されるか？
• RQ4 ハット活性化関数を用いたネットワークは、ReLUネットワークよりも高速に学習され、一般化性能が優れているか？
• RQ5 スペクトルバイアスは、異なる最適化アルゴリズムやネットワークアーキテクチャに対して頑健か？

主な発見

• 理論的分析により、ReLUネットワークが区分的線形構造を持つことにより、有限要素近似と一致し、スペクトルバイアスを示すことが確認された。
• 区分的線形Bスプラインであるハット活性化関数は、周波数スペクトル全体にわたる均一な周波数学習を可能にすることで、スペクトルバイアスを除去する。
• 実験的結果から、ハット活性化関数を用いたネットワークは、SGDおよびADAM最適化の両条件下で、ReLUネットワークよりも著しく高速に学習が進むことが示された。
• ハット活性化関数を用いたネットワークは、画像分類タスクにおいても、先行研究と整合的な優れた一般化性能を示した。
• スペクトルバイアスは普遍的ではなく、活性化関数の選択に強く依存しており、ハット活性化関数を用いたモデルではバイアスが存在しないことが示された。
• カーネル行列の固有値に対する理論的境界により、ハット活性化関数を用いることで、高周波成分の学習速度が向上することが確認された。