[論文レビュー] Eigenspace Restructuring: a Principle of Space and Frequency in Neural Networks

Lechao Xiao|arXiv (Cornell University)|Dec 10, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、ルジャンドル多項式と球面調和関数を介して、深層ニューラルネットワークにおける空間的構造と周波数的構造を結びつける原則、Eigenspace Restructuringを導入する。NTKとNNGPの固有値の崩壊が深さに依存する指数S(r)に従うことを確立し、超パラメータ化されたネットワークにおける一般化境界を、超合同性と固有空間次元の数え上げによって正確に導出可能にする。

ABSTRACT

Understanding the fundamental principles behind the massive success of neural networks is one of the most important open questions in deep learning. However, due to the highly complex nature of the problem, progress has been relatively slow. In this note, through the lens of infinite-width networks, a.k.a. neural kernels, we present one such principle resulting from hierarchical localities. It is well-known that the eigenstructure of infinite-width multilayer perceptrons (MLPs) depends solely on the concept frequency, which measures the order of interactions. We show that the topologies from deep convolutional networks (CNNs) restructure the associated eigenspaces into finer subspaces. In addition to frequency, the new structure also depends on the concept space, which measures the spatial distance among nonlinear interaction terms. The resulting fine-grained eigenstructure dramatically improves the network's learnability, empowering them to simultaneously model a much richer class of interactions, including Long-Range-Low-Frequency interactions, Short-Range-High-Frequency interactions, and various interpolations and extrapolations in-between. Additionally, model scaling can improve the resolutions of interpolations and extrapolations and, therefore, the network's learnability. Finally, we prove a sharp characterization of the generalization error for infinite-width CNNs of any depth in the high-dimensional setting. Two corollaries follow: (1) infinite-width deep CNNs can break the curse of dimensionality without losing their expressivity, and (2) scaling improves performance in both the finite and infinite data regimes.

研究の動機と目的

• 高次元入力空間における活性化関数とカーネル関数の解析に、調和解析を用いて空間的構造と周波数的構造を結びつける原則を形式化すること。
• 固有値解析を用いて、超パラメータ化されたネットワークにおけるニューラルタングエント・カーネル（NTK）とNNGPの正確な崩壊レートを導出すること。
• 固有空間次元と固有値分布の解析を通じて、広範で深い畳み込みネットワークの一般化境界を確立すること。
• 深さに依存する指数S(r)を通じて、異なるネットワークアーキテクチャにおけるNTKとNNGPの挙動を統一すること。

提案手法

• 高次元入力空間における活性化関数とカーネル関数の解析に、ルジャンドル多項式と球面調和関数を正規直交基底として用いる。
• 加法定理を適用してカーネル関数を球面調和関数の展開として表現し、入力の幾何構造とスペクトル的性質を結びつける。
• ネットワークの深さに依存する指数S(r)を導入し、球面調和基底におけるカーネルおよびNTK係数の崩壊レートを特徴付ける。
• ネットワークの深さに関する帰納法を用いて、ゼロにおけるカーネルのr階微分がd^(-S(r))に比例することを証明する。ここでdは幅を表す。
• 球面調和関数の超合同性を活用して、固有空間内関数のノルムを制御し、一般化解析を可能にする。
• 球面調和関数のテンソル積構造を用いて、多入力および多層ネットワークの挙動をモデル化し、特に畳み込みアーキテクチャにおいて有効に活用する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおけるNTKおよびNNGPのスペクトル的性質は、ネットワークの深さと幅にどのように依存するか？
• RQ2 球面調和基底におけるカーネル係数の正確な崩壊レートは何か？そしてそれはネットワーク構造によってどのように制御されるか？
• RQ3 固有空間次元と固有値分布をどのように制御することで、超パラメータ化されたネットワークにおける一般化境界を導出できるか？
• RQ4 ニューラルネットワークの深さとトポロジーは、そのNTKおよびNNGPの固有値崩壊にどのような影響を及えるか？
• RQ5 広範で深いネットワークのスペクトル的挙動は、空間的および周波数的領域を結ぶ一貫した原則の下に統一可能か？

主な発見

• NTKおよびNNGPカーネルは、球面調和関数における展開を許容し、係数がd^(-S(r))に比例して崩壊する。ここでS(r)はネットワークの深さと構造に依存する。
• 任意の多層ネットワークに対して、ゼロにおけるカーネルのr階微分は∥∂_t^r K_G∥_∞ ≲ d^(-S(r))に比例する。ここでS(r)はネットワーク計算グラフの最小スパニングツリーによって決定される。
• NTKおよびNNGPの固有値は、次数rの固有空間に対してd^(-r)に比例して崩壊し、次元はd^rに比例する。これにより、一般化誤差の正確な制御が可能になる。
• Meiら（2021）の仮定を満たすことで、一般化境界を導出する。超合同性と次元数え上げを用いて、カーネルの有効ランクが幅に対して多項式的であることを示す。
• 本手法により、NTKおよびNNGPの固有値が同じ次数の固有空間において一様に崩壊することが証明され、崩壊指数S(r)は関連するノードを含む最小部分木の深さと一致する。
• 解析により、広範で深いネットワークの一般化誤差が、固有空間次元と固有値崩壊の相乗作用によって支配されることを確認した。後者はネットワークの深さとトポロジーによって制御される。