[論文レビュー] Providing theoretical learning guarantees to Deep Learning Networks

Rodrigo Fernandes de Mello, Martha Dais Ferreira+1 more|arXiv (Cornell University)|Nov 28, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用数 6

ひとこと要約

本稿は、統計学習理論を用いて、畳み込みニューラルネットワーク（CNN）のシャッタリング係数を推定する理論的枠組みを提案する。ネットワークバイアスの複雑さをモデル化することで、VGG16のような深層アーキテクチャが、実効リスクが類似している場合でも、単純なアーキテクチャよりも顕著に高い関数空間の複雑さを持つことが示され、モデル選択は実効性能だけでなく理論的バイアス複雑さも考慮すべきであることを示唆する。

ABSTRACT

Deep Learning (DL) is one of the most common subjects when Machine Learning and Data Science approaches are considered. There are clearly two movements related to DL: the first aggregates researchers in quest to outperform other algorithms from literature, trying to win contests by considering often small decreases in the empirical risk; and the second investigates overfitting evidences, questioning the learning capabilities of DL classifiers. Motivated by such opposed points of view, this paper employs the Statistical Learning Theory (SLT) to study the convergence of Deep Neural Networks, with particular interest in Convolutional Neural Networks. In order to draw theoretical conclusions, we propose an approach to estimate the Shattering coefficient of those classification algorithms, providing a lower bound for the complexity of their space of admissible functions, a.k.a. algorithm bias. Based on such estimator, we generalize the complexity of network biases, and, next, we study AlexNet and VGG16 architectures in the point of view of their Shattering coefficients, and number of training examples required to provide theoretical learning guarantees. From our theoretical formulation, we show the conditions which Deep Neural Networks learn as well as point out another issue: DL benchmarks may be strictly driven by empirical risks, disregarding the complexity of algorithms biases.

研究の動機と目的

• 深層学習における理論的学習保証の欠如に応えるために、統計学習理論をCNNに適用すること。
• シャッタリング係数を、許容関数空間の尺度として用いて、深層ネットワークにおけるアルゴリズムバイアスの複雑さを定量化すること。
• 一般的に仮定されるアーキテクチャの同等性（例：3×3フィルタ対7×7フィルタ）が、実際に同等の学習容量をもたらすかどうかを分析すること。
• アーキテクチャ（例：AlexNet や VGG16）の一般化を保証するための最小訓練例数を、理論的境界に基づいて特定すること。

提案手法

• 入力次元とパラメータ数に基づいて、1ニューロンのシャッタリング係数を推定する式を導出する。
• 個々のニューロンの複雑さを組み合わせることで、複数層へのシャッタリング係数推定を拡張し、総関数空間サイズをモデル化する。
• バプニクの統計学習理論における一般化境界を適用し、シャッタリング係数をバイアス複雑さの代理として用いる。
• チェルノフの不等式を用いて、シャッタリング係数の対数に依存する一般化誤差の理論的上界を導出する。
• 例えば、3×3 3層CNN 対 7×7 1層CNN のように、アーキテクチャを計算・対比することで比較する。
• 異なるフィルタサイズとニューロン数におけるシャッタリング係数の多項式形を実験的に推定し、バイアス複雑さの定量的比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CNNアーキテクチャのシャッタリング係数は、その学習容量およびバイアス複雑さを信頼できる理論的尺度として提供できるか？
• RQ2 同じ実効リスク（例：同じテスト精度）を持つ2つのCNNアーキテクチャが、バイアス複雑さの違いにより理論的学習保証が著しく異なることはあり得るか？
• RQ3 層数および1層あたりのニューロン数は、シャッタリング係数にどのように影響を与え、結果として一般化に必要な訓練例数にどのように影響するか？
• RQ4 フィルタサイズ（3×3 対 7×7）のようなアーキテクチャ的選択が、実務では同等であるとされるが、関数空間のサイズにどれほど影響を与えるか？
• RQ5 VGG16 や AlexNet のような深層ネットワークの実効的成功は、一般化を保証するのに十分か、それともバイアス複雑さの理論的分析が不可欠か？

主な発見

• 1層あたり64ニューロン、3層の3×3 CNNのシャッタリング係数は約 (7.85n² + 147.69n - 2871.02)^192 であり、極めて大きな関数空間を示している。
• 1層の7×7 CNN（1層あたり64ニューロン）のシャッタリング係数は (9.81n² + 11.32n - 171.91)^64 であり、3層3×3バージョンに比べて顕著に小さい。
• 実効性能が類似しているにもかかわらず、3×3 3層アーキテクチャは7×7 1層アーキテクチャに比べてはるかに高いバイアス複雑さを持つため、データが限られた場合に理論的に一般化が困難である。
• 理論的分析により、パラメータ数と層数の増加がシャッタリング係数を指数関数的に増大させ、データが少ない場合に一般化を困難にすることが明らかになった。
• 本研究は、SimonyanとZissermanの3×3フィルタと7×7フィルタの同等性に関する主張が、実効的には妥当であるが、理論的には誤りであることを確認した。関数空間のサイズに顕著な差があるためである。
• 本稿は、実効リスク最小化に依存するだけでは不十分であると結論づけ、モデル選択にはバイアス複雑さから導出される理論的学習境界の検討も必須であると示した。