[論文レビュー] Stronger generalization bounds for deep nets via a compression approach

Sanjeev Arora, Rong Ge+2 more|arXiv (Cornell University)|Feb 14, 2018

Adversarial Robustness in Machine Learning参考文献 28被引用数 95

ひとこと要約

本論文は、訓練済みネットワークを圧縮してノイズ安定性の特性を分析することにより、深層ネット（畳み込みネットを含む）に対する一般化境界を従来より著しく厳密に導く圧縮ベースの枠組みを提案します。

ABSTRACT

Deep nets generalize well despite having more parameters than the number of training samples. Recent works try to give an explanation using PAC-Bayes and Margin-based analyses, but do not as yet result in sample complexity bounds better than naive parameter counting. The current paper shows generalization bounds that're orders of magnitude better in practice. These rely upon new succinct reparametrizations of the trained net --- a compression that is explicit and efficient. These yield generalization bounds via a simple compression-based framework introduced here. Our results also provide some theoretical justification for widespread empirical success in compressing deep nets. Analysis of correctness of our compression relies upon some newly identified extquotedblleft noise stability extquotedblright properties of trained deep nets, which are also experimentally verified. The study of these properties and resulting generalization bounds are also extended to convolutional nets, which had eluded earlier attempts on proving generalization.

研究の動機と目的

• 過剰パラメータ化にもかかわらず深層ネットが一般化する理由を動機づける。
• 一般化誤差を抑えるための単純な圧縮ベースの枠組みを提案する。
• 圧縮を可能にするノイズ安定性の性質を特定し、経験的に検証する。
• 畳み込みネットワークへの分析の拡張と理論と実践の結びつけ。

提案手法

• ヘルパー文字列を用いて圧縮モデルと元の性能を関連付ける、(gamma, S)-compressibility および (gamma, S)-compressibility を定義する。
• L0(g_A) による境界を介して圧縮性と一般化との関係を示す定理 2.1 を提供する。
• 層ごとの圧縮と安定ランクを用いて深層ネットの一般化境界(定理 2.2)を証明する。
• より強い圧縮を正当化するために、ノイズ安定性の概念（layer cushion, interlayer cushion, activation contraction, interlayer smoothness）を導入する。
• 層を圧縮し出力の摂動を抑えるアルゴリズム1 (Matrix-Project) を提案し、実効パラメータ数を小さくする。
• 共有フィルタのためのp-wise独立性を取り入れ、畳み込みネットへの圧縮枠組みの拡張。

実験結果

リサーチクエスチョン

• RQ1 訓練済みの深層ネットを、トレーニング性能が同等のより単純なモデルへ圧縮でき、より良い一般化境界を可能にすることができるか？
• RQ2 層のノイズ安定性特性は、一般化ペナルティを大きく伴わずに積極的な圧縮を可能にするか？
• RQ3 圧縮フレームワークを畳み込みアーキテクチャへ拡張して、証明可能な保証を保つことができるか？
• RQ4 提案された境界は、実ネットワークでの経験的一般化挙動と一致するか？

主な発見

• 圧縮ベースの枠組みにより、ナイーブなパラメータカウントよりも厳密な一般化境界が得られる。
• 層ごとの圧縮誤差は、特定の cushion（クッション）および滑らかさの性質の下で全体の出力摂動を小さく保つように制御できる。
• 全結合ネットに対する境界は、layer cushions、interlayer cushions、activation contraction、interlayer smoothness、そして層の stable rank に依存する。
• この手法は、p-wise independent filter compression および一般化された interlayer cushions を用いて、畳み込みネットにも拡張される。
• VGG-19 と AlexNet の経験的評価は、提案された安定性特性と圧縮ベースの境界が CIFAR-10 の一般化と妥当な相関を示すことを示している。