[論文レビュー] Deep Equals Shallow for ReLU Networks in Kernel Regimes

Alberto Bietti, Francis Bach|arXiv (Cornell University)|Sep 30, 2020

Stochastic Gradient Optimization Techniques参考文献 59被引用数 9

ひとこと要約

この論文は、ReLUネットワークがカーネル的枠組み（特にニューラル接線カーネル（NTK））に置かれている場合、深さが浅い2層ネットワークよりも近似の優位性を提供しないことを示している。主な結果は、深さのあるReLUカーネルに関連する積分作用素の固有値の減衰が、浅いReLUカーネルと同一であるということであり、これはカーネルフレームワークがこのようなアーキテクチャにおける深さの利点を説明できないことを示唆している。これは、深層ネットワークの表現力の理解におけるカーネルベース分析の根本的な限界を浮き彫りにする。

ABSTRACT

Deep networks are often considered to be more expressive than shallow ones in terms of approximation. Indeed, certain functions can be approximated by deep networks provably more efficiently than by shallow ones, however, no tractable algorithms are known for learning such deep models. Separately, a recent line of work has shown that deep networks trained with gradient descent may behave like (tractable) kernel methods in a certain over-parameterized regime, where the kernel is determined by the architecture and initialization, and this paper focuses on approximation for such kernels. We show that for ReLU activations, the kernels derived from deep fully-connected networks have essentially the same approximation properties as their shallow two-layer counterpart, namely the same eigenvalue decay for the corresponding integral operator. This highlights the limitations of the kernel framework for understanding the benefits of such deep architectures. Our main theoretical result relies on characterizing such eigenvalue decays through differentiability properties of the kernel function, which also easily applies to the study of other kernels defined on the sphere.

研究の動機と目的

• カーネル的枠組み下での深層ReLUネットワークにおける深さが近似特性を向上させるかどうかを調査すること。
• 特にニューラル接線カーネル（NTK）を含む、深さのあるカーネル手法によって誘導される積分作用素のスペクトル特性を分析すること。
• 深さのあるReLUネットワークと浅いReLUネットワークの間で、カーネル作用素の固有値減衰が異なるかどうかを特定すること。
• カーネルベースのフレームワークが深層アーキテクチャの表現力の本質をどれだけ捉えられるかを明確にすること。
• カーネル関数の微分可能性特性に基づいた固有値減衰の理論的特徴付けを提供すること。

提案手法

• 入力が一致する（等しいか反対方向）場合におけるカーネル関数の微分可能性を用いて、カーネルによって誘導される積分作用素の固有値減衰を特徴付ける。
• 球面調和関数を用いて、単位球面上での積分作用素を対角化し、再生核ヒルベルト空間（RKHS）のスペクトル解析を可能にする。
• カーネル合成に関する帰納法を用いて、ReLU活性化関数が層の数に関係なく同じ固有値減衰行動を維持することを証明する。
• カーネル関数が±1付近での漸近的挙動を解析し、固有値の減衰率を導出する。
• NTKとランダムフィーチャー（RF）カーネルの両方に対してフレームワークを適用し、深さに関係なく同じ減衰率が得られることを示す。
• 複素解析的拡張とテイラー係数の漸近的挙動を用いて、深さのあるReLUネットワークの固有値減衰を厳密に導出する。

実験結果

リサーチクエスチョン

• RQ1 カーネル的枠組みで分析された場合、ReLUネットワークの深さが近似能力を向上させるか？
• RQ2 深さのあるReLUカーネルによって誘導される積分作用素の固有値減衰は、浅いReLUカーネルと異なるか？
• RQ3 入力が一致するときのカーネル関数の微分可能性を通じて、深さのあるカーネル手法のスペクトル特性を特徴付けられるか？
• RQ4 カーネルフレームワークは、全結合ReLUネットワークにおける深さの利点をどの程度正しく捉えられるか？
• RQ5 ReLUネットワークにおいて、NTKとRFカーネルの固有値減衰は、異なる深さでどのように異なるか？

主な発見

• カーネル的枠組み下のReLUネットワークでは、深さのあるアーキテクチャと浅いアーキテクチャの間で、積分作用素の固有値減衰が同一であり、入力次元dに対して減衰率k^{-d-2}を示す。
• 減衰率は、入力が一致するときのカーネル関数の微分可能性に依存する；ReLUの場合、これは深さにかかわらずk^{-d-2}の減衰をもたらす。
• NTKにおけるk^{-d-2}減衰の係数は深さℓに線形に増加するが、ℓで正規化すれば有界のまま保たれる。
• ステップ活性化関数を用いた深さのあるReLUネットワークでは、減衰率がk^{-d-2\nu_L+1}（\nu_L = 1/2^{L-1}）となる。これはReLUより遅い減衰を示すが、依然として\nu_Lを通じて深さに依存する。
• この結果は、カーネルベースのモデルがReLUネットワークにおける深さに起因する表現力の向上を説明できないことを示唆しており、深さがカーネルのスペクトル特性を変化させないからである。
• 理論的フレームワークは、球面上のドット積カーネルに広く適用可能であり、局所的なカーネル挙動に基づいた固有値減衰の一般的な解析手法を提供する。