[論文レビュー] Disentangling Trainability and Generalization in Deep Neural Networks

Xiao, Lechao, Jeffrey Pennington+1 more|arXiv (Cornell University)|Dec 30, 2019

Stochastic Gradient Optimization Techniques被引用数 14

ひとこと要約

この論文は、ニューラルタングエントロピー・カーネル（NTK）スペクトルを分析することで、広大で深いニューラルネットワークにおける学習可能性と一般化の要因を解きほぐしている。その結果、畳み込みニューラルネットワーク（CNN）におけるプーリング層が、NTKの条件数とバルク固有値を低減することで一般化性能を著しく向上させることを明らかにした。一方、グローバル平均プーリングを備えた完全結合ネットワーク（FCN）は、学習データを記憶するが、一般化に失敗することが判明した。

ABSTRACT

A longstanding goal in the theory of deep learning is to characterize the conditions under which a given neural network architecture will be trainable, and if so, how well it might generalize to unseen data. In this work, we provide such a characterization in the limit of very wide and very deep networks, for which the analysis simplifies considerably. For wide networks, the trajectory under gradient descent is governed by the Neural Tangent Kernel (NTK), and for deep networks the NTK itself maintains only weak data dependence. By analyzing the spectrum of the NTK, we formulate necessary conditions for trainability and generalization across a range of architectures, including Fully Connected Networks (FCNs) and Convolutional Neural Networks (CNNs). We identify large regions of hyperparameter space for which networks can memorize the training set but completely fail to generalize. We find that CNNs without global average pooling behave almost identically to FCNs, but that CNNs with pooling have markedly different and often better generalization performance. These theoretical results are corroborated experimentally on CIFAR10 for a variety of network architectures and we include a colab notebook that reproduces the essential results of the paper.

研究の動機と目的

• 無限大の幅と深さの極限において、深層ニューラルネットワークのアーキテクチャがどのような条件下で学習可能で、一般化性能を発揮するかを特定すること。
• 異なるアーキテクチャにおけるニューラルタングエントロピー・カーネル（NTK）スペクトルを分析することで、学習可能性と一般化を分離すること。
• 同じ記憶容量を持つにもかかわらず、畳み込みニューラルネットワーク（CNN）のような特定のアーキテクチャが完全結合ネットワーク（FCN）よりも一般化性能に優れている理由を解明すること。
• ハイパーパrameterおよびアーキテクチャ的選択（例：プーリング、活性化関数）が一般化性能に与える影響を理論的・実験的に検証すること。

提案手法

• 完全結合ネットワーク（FCN）および畳み込みニューラルネットワーク（CNN）の両方において、グローバル平均プーリングを含む・含まない状況を含め、広大な深さの極限におけるNTKスペクトルの理論的分析。
• ネットワークの深さ、幅、ハイパーパrameterを用いた、NTKの最大固有値・最小固有値および条件数の漸近的表現の導出。
• NTKフレームワークを用いて勾配降下のダイナミクスを解析的にモデル化し、一般化性能の正確な予測を可能にした。
• 一般化の破綻または持続が生じる深さスケールを特定するために、NTKとNNGP（ニューラルネットワークガウス過程）の予測を比較した。
• SGDを用いたCIFAR-10における実験的検証。重み初期化の分散や深さを含む多様なハイパーパrameter設定をカバーした。
• 理論的予測の妥当性を検証するため、バイアス分散および正則化強度の体系的スイープを実施した。

実験結果

リサーチクエスチョン

• RQ1 ニューラルタングエントロピー・カーネル（NTK）のスペクトルは、広大で深いニューラルネットワークの学習可能性と一般化をどのように決定するか？
• RQ2 グローバル平均プーリングを備えたCNNが、両者とも学習データを記憶可能であるにもかかわらず、完全結合ネットワーク（FCN）よりも一般化性能に優れているのはなぜか？
• RQ3 深層ネットワークにおいて、平坦化処理と比較してプーリングがNTKの固有値分布および条件数にどのように影響を与えるか？
• RQ4 重み初期化分散や深さといったハイパーパラメータは、NTKおよびNNGPフレームワークにおける一般化の深さスケールにどのように影響を与えるか？
• RQ5 CNNにプーリングを適用した場合、一時的な深さ領域において、完全結合ネットワークと比較して性能が優れるか、劣るかの遷移的領域が存在するか？

主な発見

• グローバル平均プーリングを備えたCNNでは、条件数が $ d \times l \times \tilde{\rho}^{-l} $ のオーダーで増加する。ここで $ d $ はプーリングサイズを表し、FCNと比較して安定性と一般化性能が向上していることを示している。
• プールドCNNにおけるNTKのバルク固有値は、FCNと比較して $ d $ 倍小さくなり、一般化性能の向上が直接的に示されている。
• カオス的領域では、プーリングにより対角NTK項の増加が $ d $ 倍遅くなり、予測子 $ P(\theta) $ が $ d $ 倍向上する。その結果、CNN-PがCNN-Fを一時的に上回る一時的領域が生じる。
• 秩序的領域では、プールドCNNにおけるNTKの条件数は $ d $ 倍に増加する。これは、FCNがプールドCNNを一時的に上回る一時的領域があることを示唆している。
• NTKにおける一般化可能な深さスケールは $ \tilde{\rho}^{-1} = -1/(\text{log}(\rho_c^*) - \text{log}(\rho_1)) $ であり、NNGPに比べて小さいため、NTKダイナミクスでは一般化の失敗が早期に発生することが示唆されている。
• CIFAR-10における実験結果は理論的予測を裏付けている：プールを含むネットワークは多様なハイパーパラメータ設定において一般化性能に優れており、バイアス分散および正則化強度の変動に対しても一般化の深さスケールは頑健である。