[論文レビュー] Quantifying the generalization error in deep learning in terms of data distribution and neural network smoothness

Pengzhan Jin, Lu Lu+2 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications参考文献 84被引用数 61

ひとこと要約

本稿では、被覆複雑性（CC）によるデータ分布の複雑さと、逆モジュラス連続性によるニューラルネットワークの滑らかさを結びつけることで、深層ニューラルネットワークにおける一般化誤差を定量化する新しい理論的枠組みを提案する。データに依存する測度を用いて期待分類誤差のタイトな上界を導出し、MNIST、CIFAR、COILデータセットで数値的に検証した結果、テスト誤差と被覆複雑性の間で線形相関が観察された。さらに、ネットワークサイズが増加するにつれて滑らかさが低下するが、データセットサイズにはほとんど依存しないことが示された。

ABSTRACT

The accuracy of deep learning, i.e., deep neural networks, can be characterized by dividing the total error into three main types: approximation error, optimization error, and generalization error. Whereas there are some satisfactory answers to the problems of approximation and optimization, much less is known about the theory of generalization. Most existing theoretical works for generalization fail to explain the performance of neural networks in practice. To derive a meaningful bound, we study the generalization error of neural networks for classification problems in terms of data distribution and neural network smoothness. We introduce the cover complexity (CC) to measure the difficulty of learning a data set and the inverse of the modulus of continuity to quantify neural network smoothness. A quantitative bound for expected accuracy/error is derived by considering both the CC and neural network smoothness. Although most of the analysis is general and not specific to neural networks, we validate our theoretical assumptions and results numerically for neural networks by several data sets of images. The numerical results confirm that the expected error of trained networks scaled with the square root of the number of classes has a linear relationship with respect to the CC. We also observe a clear consistency between test loss and neural network smoothness during the training process. In addition, we demonstrate empirically that the neural network smoothness decreases when the network size increases whereas the smoothness is insensitive to training dataset size.

研究の動機と目的

• 深層学習における一般化誤差の実用的理論的理解の欠如に応えること。
• 現実の性能を説明できる非自明でデータ依存の一般化誤差バウンドを構築すること。
• データ分布の複雑さとニューラルネットワークの滑らかさが、期待テスト誤差にどのように統合的に影響するかを定量化すること。
• 標準的な画像分類データセットを用いて、理論的仮定とバウンドを実証的に検証すること。

提案手法

• 分類問題におけるデータ分布の難易度を測る指標として、被覆複雑性（CC）を導入する。
• 重み行列の特異値ノルムを用いて推定する逆モジュラス連続性の逆数を、ニューラルネットワークの滑らかさの定義とする。
• CCとネットワーク滑らかさを用いて、期待分類誤差の理論的上界を導出する。
• 幾何的被覆性質と関数的滑らかさを統合するデータ依存の枠組みを提案し、一般化誤差をバウンドする。
• CNNを用いて、MNIST、CIFAR-10、CIFAR-100、COIL-20、COIL-100、SVHNの各データセットで数値実験を通じて理論を検証する。
• スケーリングされたテスト誤差とCCとの間の線形関係を実証的に観察し、トレーニング中の滑らかさの変化を追跡する。

実験結果

リサーチクエスチョン

• RQ1 データ分布とネットワーク滑らかさを用いて、深層ニューラルネットワークにおける一般化誤差をどのようにバウンドできるか？
• RQ2 被覆複雑性は、分類問題の難易度を決定づける役割を果たすか？
• RQ3 特異値ノルムを用いて推定されるニューラルネットワークの滑らかさは、一般化性能とどのように相関するか？
• RQ4 データ複雑性と滑らかさから導出された理論的バウンドは、実際の画像データセットにおいても成り立つか？
• RQ5 ネットワークサイズとデータセットサイズは、ニューラルネットワークの滑らかさと一般化誤差にどのように影響するか？

主な発見

• クラス数の平方根で正規化した場合、期待分類誤差は被覆複雑性（CC）に比例して線形に増加する。
• 複数の画像データセットにおいて、スケーリングされたテスト誤差とCCとの間に明確な線形関係が観察された。
• ネットワークサイズが増加するにつれて、ニューラルネットワークの滑らかさが低下し、一般化能力が向上することが示された。
• ネットワークの滑らかさは、トレーニングデータセットサイズに対してほとんど感受性が低く、アーキテクチャに起因する傾向が強いことが示された。
• 理論的上界は非自明であり、トレーニング中の観測されたテスト損失と実証的に整合的であった。
• 特異値ノルムを用いて推定される逆モジュラス連続性の逆数は、ニューラルネットワークの滑らかさを効果的に定量化でき、テスト性能と相関していた。