[論文レビュー] What Can Be Learnt With Wide Convolutional Neural Networks?

Francesco Cagnetta, Alessandro Favero+1 more|arXiv (Cornell University)|Aug 1, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、無限に広い深層畳み込みニューラルネットワーク（CNN）における一般化を、ニューラルタングエント・カーネル（NTK）の枠組みで研究する。NTKの固有値スペクトルが階層的構造を継承することを示し、CNNが目的関数の有効次元に適応できることを示す。関数が局所的な入力サブセットに依存する場合には、誤差の減少は局所的受容野のサイズに支配され、一方でグローバルな依存性が支配的である場合には、入力全体の次元に支配される。

ABSTRACT

Understanding how convolutional neural networks (CNNs) can efficiently learn high-dimensional functions remains a fundamental challenge. A popular belief is that these models harness the local and hierarchical structure of natural data such as images. Yet, we lack a quantitative understanding of how such structure affects performance, e.g., the rate of decay of the generalisation error with the number of training samples. In this paper, we study infinitely-wide deep CNNs in the kernel regime. First, we show that the spectrum of the corresponding kernel inherits the hierarchical structure of the network, and we characterise its asymptotics. Then, we use this result together with generalisation bounds to prove that deep CNNs adapt to the spatial scale of the target function. In particular, we find that if the target function depends on low-dimensional subsets of adjacent input variables, then the decay of the error is controlled by the effective dimensionality of these subsets. Conversely, if the target function depends on the full set of input variables, then the error decay is controlled by the input dimension. We conclude by computing the generalisation error of a deep CNN trained on the output of another deep CNN with randomly-initialised parameters. Interestingly, we find that, despite their hierarchical structure, the functions generated by infinitely-wide deep CNNs are too rich to be efficiently learnable in high dimension.

研究の動機と目的

• 深層CNNの階層的かつ局所的な構造が、高次元関数近似における一般化に与える影響を理解すること。
• 深層CNNにおけるデータ構造が一般化誤差の減少率に与える影響について、定量的理解が不足している点を解消すること。
• 無限に広い深層CNNにおけるNTKのスペクトルを特徴づけ、一般化境界を導出すること。
• 階層的なCNNが、局所的依存性やグローバル依存性の程度が異なる関数を効率的に学習できるかを調査すること。
• CNNのインダクティブバイアスが、高次元設定における次元の呪いを緩和するかを同定すること。

提案手法

• 非重複パッチおよびプーリングなしの深層CNNのNTKを、無限幅極限において分析する。
• 各隠れ層の受容野に対応するセクターに分けることで、固有関数を分解し、NTKのスペクトルを特徴づける。
• 層 $ l $ における受容場の有効次元 $ d_{\text{eff}}(l) $ に基づいて、NTK固有値の漸近的挙動を導出する。
• カポネットーとデ・ヴィト（2007）のカーネルリッジ回帰からの一般化境界を適用し、誤差減少を目的関数の有効次元と関連付ける。
• 理論的分析と合成データおよび実データ（例：CIFAR-10）を用いた実証的検証を組み合わせ、予測の妥当性を検証する。
• 多様な入力分布（マルチスフィア、ハイパーキューブ、ガウス分布）およびパッチタイプ（重複あり vs. 重複なし）における学習曲線を比較する。

実験結果

リサーチクエスチョン

• RQ1 深層CNNの階層的構造は、無限幅極限におけるそのNTKスペクトルにどのように影響するか？
• RQ2 深層CNNは、目的関数の空間的スケールにどの程度一般化性能を適応させられるか？
• RQ3 各層における受容場の有効次元が、一般化誤差の減少率を決定づけるか？
• RQ4 無限に広いCNNは、低次元の局所的入力サブセットにのみ依存する高次元関数を効率的に学習できるか？
• RQ5 高次元的かつ構造的な関数近似タスクにおいて、階層的CNNの性能は、全結合ネットワークと比べてどうなるか？

主な発見

• 深層CNNにおけるNTKのスペクトルは、各層の受容場にのみ依存するセクター固有の固有関数に構成される。
• 固有値は多項式の次数および層 $ l $ における有効次元 $ d_{\text{eff}}(l) $ の関数として漸近的に減少し、$ d_{\text{eff}}(l) $ が小さいほど大きな固有値を示す。
• 一般化誤差は $ \epsilon(n) \sim n^{-\beta} $ の形で減少し、$ \beta \propto 1/d_{\text{eff}} $ となる。これは、目的関数が局所的入力サブセットに依存する場合に成立する。
• 目的関数が入力全体の次元に依存する場合には、誤差減少は $ d $（入力全体の次元）に支配され、次元の呪いが顕在化する。
• 階層的構造があるにもかかわらず、無限に広い深層CNNが生成する関数は、高次元入力空間では効率的に学習可能とは言えないほど豊かすぎる。
• CIFAR-10および合成データにおける実証的学習曲線は理論的予測を裏付け、深層階層的CNNが、重複パッチでさえも全結合アーキテクチャを上回る性能を示している。