[論文レビュー] Generalization Guarantees for Neural Networks via Harnessing the Low-rank Structure of the Jacobian

Samet Oymak, Zalan Fabian+2 more|arXiv (Cornell University)|Jun 12, 2019

Model Reduction and Neural Networks参考文献 53被引用数 40

ひとこと要約

ジャコビアンに基づく、データ依存の理論を開発し、学習ダイナミクスを情報空間（ラベルと良く整列した高速な空間）とノイズ/負担空間（低速で過適合の可能性）に分離することでニューラルネットワークが一般化する方法を示し、さらには定数幅のネットでも整然としたデータに対して一般化できることを実証する。

ABSTRACT

Modern neural network architectures often generalize well despite containing many more parameters than the size of the training dataset. This paper explores the generalization capabilities of neural networks trained via gradient descent. We develop a data-dependent optimization and generalization theory which leverages the low-rank structure of the Jacobian matrix associated with the network. Our results help demystify why training and generalization is easier on clean and structured datasets and harder on noisy and unstructured datasets as well as how the network size affects the evolution of the train and test errors during training. Specifically, we use a control knob to split the Jacobian spectum into "information" and "nuisance" spaces associated with the large and small singular values. We show that over the information space learning is fast and one can quickly train a model with zero training loss that can also generalize well. Over the nuisance space training is slower and early stopping can help with generalization at the expense of some bias. We also show that the overall generalization capability of the network is controlled by how well the label vector is aligned with the information space. A key feature of our results is that even constant width neural nets can provably generalize for sufficiently nice datasets. We conduct various numerical experiments on deep networks that corroborate our theoretical findings and demonstrate that: (i) the Jacobian of typical neural networks exhibit low-rank structure with a few large singular values and many small ones leading to a low-dimensional information space, (ii) over the information space learning is fast and most of the label vector falls on this space, and (iii) label noise falls on the nuisance space and impedes optimization/generalization.

研究の動機と目的

• 勾配降下法で訓練されたニューラルネットワークが、オーバーパラメータ化にもかかわらずどのように一般化するかを動機づけ、定量化する。
• ジャコビアン特性（固有値スペクトル）に基づく学習ダイナミクスのデータ依存分解を、情報空間とノイズ/迷惑空間へ導入する。
• ラベルと情報空間の整合性と低ランクのジャコビアンが、適度な幅でも強い一般化を可能にすることを示す。
• 訓練とテスト性能におけるバイアス-バリアンスのトレードオフとネットワークサイズの影響を分析する。
• 任意の初期値（事前学習済みモデルを含む）を一般化フレームワークに組み込む。

提案手法

• ネットワークのジャコビアンの特異値分解を用いて情報空間とノイズ/迷惑空間を定義する。
• 訓練ダイナミクスと一般化誤差を情報空間とノイズ空間の寄与に分解する。
• 情報空間との整合性のずれから生じるバイアスと、初期化からの動きから生じる分散という、バイアス-バリアンスの枠組みを用いる。
• Multiclass Neural Tangent Kernel (M-NTK) を介して、ランダム初期化および任意の初期化に対する有限サンプル・データ依存の保証（定理3.2と3.3）を提供する。
• 低ランクのジャコビアン構造の下では、幅は控えめ（データサイズの対数程度など）でも良い一般化性能を達成できることを示す。

実験結果

リサーチクエスチョン

• RQ1 勾配降下が低ランクのジャコビアン構造を活用して、オーバーパラメータ化されたネットワークを一般化させることができるか？
• RQ2 ジャコビアンの情報空間とラベルの整合性が一般化性能にどう影響するか？
• RQ3 ジャコビアンが実質的に低ランクの場合、ネットワークの幅の役割は一般化にどう影響するか？
• RQ4 事前学習済みモデルや任意の初期化モデルは、ジャコビアンベースの分析下で同様の一般化保証を認めるか？
• RQ5 情報空間とノイズ空間の文脈で、バイアスと分散の成分はどのように分離されるか？

主な発見

• 典型的なニューラルネットのジャコビアンは、いくつかの大きな特異値と多数の小さな特異値という低ランク構造を示し、低次元の情報空間を定義する。
• 情報空間上で学習は速く、ラベルベクトルの大半がこの空間にあるため訓練誤差の速い低減を実現する。
• ノイズ空間上での学習は遅く、早期停止はバイアスを多少取る代わりに一般化を助ける。
• ラベルベクトルが情報空間と良く整合しているほど一般化は改善される。データが十分構造化されていれば、幅は定数または控えめでよい。
• このフレームワークは極端に広いネットワークを必要としないデータ依存の保証を提供し、事前学習済みモデルを含む任意の初期化にも結果が拡張される。
• 数値実験は理論的主張を裏付け、情報方向での急速な収束とノイズ方向での遅く、バイアスが生じやすい学習を実証する。