[論文レビュー] On the Spectral Bias of Convolutional Neural Tangent and Gaussian Process Kernels

Amnon Geifman, Meirav Galun+2 more|arXiv (Cornell University)|Mar 17, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

この論文は、ガウス過程とニューラルタングエント・カーネル（GPKおよびNTK）を用いて、過パラメータ化された畳み込みニューラルネットワークの厳密なスペクトル解析を提供する。固有関数がピクセルのチャネルごとの球面調和関数の積であることを証明し、固有値は周波数に応じて多項式的に減少し、階層的特徴構造によって変調される。これにより、畳み込みニューラルネットワークが、全結合ネットワークよりも局所的で高周波数の関数をより速く学習することを明らかにする。

ABSTRACT

We study the properties of various over-parametrized convolutional neural architectures through their respective Gaussian process and neural tangent kernels. We prove that, with normalized multi-channel input and ReLU activation, the eigenfunctions of these kernels with the uniform measure are formed by products of spherical harmonics, defined over the channels of the different pixels. We next use hierarchical factorizable kernels to bound their respective eigenvalues. We show that the eigenvalues decay polynomially, quantify the rate of decay, and derive measures that reflect the composition of hierarchical features in these networks. Our results provide concrete quantitative characterization of over-parameterized convolutional network architectures.

研究の動機と目的

• 過パラメータ化された畳み込みニューラルネットワークのスペクトルバイアスを、そのガウス過程およびニューラルタングエント・カーネルを用いて特徴づけること。
• ReLU活性化関数および正規化されたマルチチャネル入力下でのCGPKおよびCNTKの固有関数と固有値の減少率を特定すること。
• 階層的特徴構成が固有値内の乗法的要因を通じて学習速度に与える影響を定量化すること。
• シフト等変性、全結合、グローバル平均プーリングアーキテクチャ間のスペクトルインダクティブバイアスを比較すること。

提案手法

• シフト等変性、全結合最終層、グローバル平均プーリング（GAP）層の3つのアーキテクチャのカーネル構造を導出する。
• 多球面入力空間（各ピクセルごとの単位球面の積）上での固有関数として球面調和関数（SHs）を用いる。
• 循環的シフト不変性と平均化を適用してトレースおよびGAPカーネルを導出し、固有関数構造を保持する。
• メルサールの分解を用いて、正規直交固有関数と関連する固有値の和としてカーネルを表現する。
• 周波数に基づく固有値減少率分析を導入し、入力チャネル数に依存する多項式的減少率を示す。
• 空間的局所性を反映する固有値内の乗法的要因を導出する：等変性ネットワークでは中心／受容野内のピクセルで最大、全結合／GAPアーキテクチャでは近接ピクセルで大きく、遠く離れたピクセルでは急激に減少する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された畳み込みネットワークのガウス過程およびニューラルタングエント・カーネルの固有関数は何か？
• RQ2 これらのカーネルの固有値は、固有関数の周波数に対してどのように減少するか？
• RQ3 ネットワーク内の特徴の階層的構造は、固有値および学習バイアスにどのように影響するか？
• RQ4 シフト等変性、全結合、グローバル平均プーリングアーキテクチャ間でスペクトルバイアスはどのように異なるか？
• RQ5 畳み込みニューラルネットワークは、全結合ネットワークよりも高周波数関数をどれほど速く学習するのか、どのような条件下でそうなるか？

主な発見

• CGPKおよびCNTKカーネルの固有関数は、各ピクセルのチャネル上で定義された球面調和関数の積であり、多球面入力空間上で正規直交基底を形成する。
• 固有値は、固有関数の周波数に対して多項式的に減少し、その減少率は入力チャネル数に依存する。
• シフト等変性ネットワークでは、受容野の中心付近のピクセルで固有値の乗法的要因が最大となり、周辺に向かって減少する。
• 全結合およびGAPアーキテクチャでは、ピクセルが空間的に近接している場合に乗法的要因が大きく、距離が離れるにつれて急激に減少する。
• 固有値のモodulationにおける空間的構造のおかげで、畳み込みニューラルネットワークは、全結合ネットワークよりも空間的に局所的で高周波数の関数を学習するバイアスが強い。
• 固有値の減少率は、画像サイズやフィルターサイズに依存せず、入力チャネル数および固有関数の周波数にのみ依存する。