[論文レビュー] Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study

Yongtao Wu, Zhenyu Zhu+3 more|arXiv (Cornell University)|Sep 16, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本稿は、ヘルミート積を伴うニューラルネットワークのクラスである多項式ニューラルネットワーク（PNNs）の有限幅ニューラル接線カーネル（NTK）を導出し、それがカーネル回帰と等価であることを証明する。PNNsは、標準ネットワークよりも優れた外挿能力と、NTK固有値の遅い減少を示し、高周波成分の学習が速やかに可能であることが明らかになった。

ABSTRACT

Neural tangent kernel (NTK) is a powerful tool to analyze training dynamics of neural networks and their generalization bounds. The study on NTK has been devoted to typical neural network architectures, but it is incomplete for neural networks with Hadamard products (NNs-Hp), e.g., StyleGAN and polynomial neural networks (PNNs). In this work, we derive the finite-width NTK formulation for a special class of NNs-Hp, i.e., polynomial neural networks. We prove their equivalence to the kernel regression predictor with the associated NTK, which expands the application scope of NTK. Based on our results, we elucidate the separation of PNNs over standard neural networks with respect to extrapolation and spectral bias. Our two key insights are that when compared to standard neural networks, PNNs can fit more complicated functions in the extrapolation regime and admit a slower eigenvalue decay of the respective NTK, leading to a faster learning towards high-frequency functions. Besides, our theoretical results can be extended to other types of NNs-Hp, which expand the scope of our work. Our empirical results validate the separations in broader classes of NNs-Hp, which provide a good justification for a deeper understanding of neural architectures.

研究の動機と目的

• ヘルミート積を伴うニューラルネットワーク（NNs-Hp）、特に多項式ニューラルネットワーク（PNNs）を、ニューラル接線カーネル（NTK）を用いて理論的に分析する分野における理論的ギャップを埋めること。
• 初期化時の収束性と学習中の安定性を含む包括的なNTKフレームワークを用いて、PNNsの勾配降下学習とカーネル回帰との厳密な等価性を確立すること。
• PNNsと標準ニューラルネットワークとの間で、外挿行動とスペクトルバイアスを調査・比較すること。
• 乗法的フィルターネットワークや非局所的乗法的ネットワークなどの、より広いNNs-Hpクラスへの理論的洞察の拡張。
• NNs-Hpが複雑な関数の学習、算術的外挿、視覚的類似性タスクにおいて理論的利点を実証的に検証すること。

提案手法

• 高次元の乗法的相互作用を持つPNNsの有限幅NTKの定式化を、重みと活性化の勾配の解析的計算により導出する。
• 初期化時の収束性と学習中の経験的NTKの安定性の境界を示すことで、PNNsの学習とカーネル回帰との厳密な等価性を証明する。
• 特に固有値の減少率に注目し、PNNsのNTKのスペクトル特性を分析することで、誘導的バイアスを特徴づける。
• PNNsと標準的な全結合ReLUネットワークとの間で、外挿性と周波数学習の観点から比較を実施する。
• 合成データおよび実世界のデータセットを用いた実験的評価により、算術的問題と視覚的類似性タスクにおける外挿性能を検証する。
• 導出されたNTKフレームワークを、乗法的フィルターネットワークや非局所的乗法的ネットワークなどの他のNNs-Hpアーキテクチャへと拡張し、その広範な適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 多項式ニューラルネットワーク（PNNs）のNTKは、標準的な全結合ネットワークとどのように異なるか？
• RQ2 PNNsはどの程度訓練分布の外側に一般化できるか、特に非線形関数の外挿において？
• RQ3 PNNsのNTKの固有値減少率は標準ネットワークと比べてどうか？ これは高周波成分の学習にどのような意味を持つのか？
• RQ4 PNNsの理論的NTKフレームワークは、非局所的乗法的ネットワークなどの、ヘルミート積を有する他のアーキテクチャへと拡張可能か？
• RQ5 分布外一般化を要請するタスク、例えば算術的外挿や視覚的類似性外挿において、NNs-Hpはどのような実証的利点を示すか？

主な発見

• PNNsは、初期化時の収束性と学習中の安定性に関する厳密な境界を含む有限幅NTKフレームワークを用いて、カーネル回帰と等価であることが証明された。
• PNNsは、標準ReLUネットワークが線形外挿に限定されるのとは異なり、訓練分布の外側で非線形関数を学習できる優れた外挿能力を示した。
• PNNsのNTKは、標準ネットワークよりも固有値の減少が遅く、高周波成分の学習が速やかに可能であることを示した。
• 実験的結果により、PNNsを含むNNs-Hpが、複雑な関数の学習、算術的外挿、視覚的類似性タスクにおいて標準ネットワークを上回ることが確認された。
• PNNsのNTKに対する理論的フレームワークは、乗法的フィルターネットワークや非局所的乗法的ネットワークなどの他のNNs-Hpアーキテクチャへも拡張可能であり、その適用範囲が広がることが示された。
• 本研究は、特に分布外および周波数ベースの学習状況において、NNs-Hpの誘導的バイアスと一般化行動を理解する理論的基盤を提供した。