[論文レビュー] Generalization bounds for deep convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications参考文献 43被引用数 33

ひとこと要約

本論文は初期化からの距離とパラメータ数の観点で深層CNNの一般化境界を導出し、入力サイズには依存しないことを示し、CIFAR-10の実験によって境界を検証している。

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments using CIFAR-10 with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

研究の動機と目的

• 全結合モデルを超える畳み込みネットワークの一般化を動機づけ、分析する。
• 入力次元ではなく、初期化からの距離と総パラメータ数に依存する境界を構築する。
• 畳み込みの重み結合（ウェイトタイ）により、全結合ネットに比べて実効的な複雑性が低いことを示す。
• 深層CNNにおける初期化と訓練ダイナミクスへの実用的な示唆を提供する。

提案手法

• ネットワークのリップシッツ性と被覆数（カバー数）技法を用いて一般化境界を証明する。
• 畳み込みカーネルと最終層の重みに対する初期化からの距離指標を定義する。
• 従来の深さ依存が指数的であるのに対し、深さに対して線形の依存性を示す境界を示す。
• カバー数ベースの境界に経験過程の境界（Giné and Guillou）を適用する。
• 訓練/テスト間のギャップ境界と相対誤差様の境界という2つの境界形を導出する。
• 厳密なリップシッツパラメータを用いて、一般的なCNN+FCアーキテクチャにも境界を拡張する。

実験結果

リサーチクエスチョン

• RQ1 CNNの一般化境界は、初期化からの距離とパラメータ数にどのように依存するか。
• RQ2 CNNの境界を入力画像サイズや特徴マップの次元に依存しないようにできるか。
• RQ3 導出された一般化境界に対するネットワークの深さの影響は何か。
• RQ4 畳み込みのウェイトタイと初期化スキームが境界に与える影響はどのようか。
• RQ5 経験的実験（例：CIFAR-10）は、ハイパーパラメータを横断して理論的境界と一致するか。

主な発見

• 境界は初期化からの距離と総パラメータ数に比例してスケールし、入力サイズには依存しない。
• 深さに対して線形の境界を達成し、これまでの分析に多い指数的な深さ依存を回避する。
• CIFAR-10の実験は、初期化からの距離をパラメータ数でスケールしたときに一般化ギャップが増大することを示している。
• 過剰パラメータ化を増やすと実務上一般化ギャップが平坦化する傾向があり、これを観察された傾向と一致する。一方で距離指標はこの挙動を説明するのに役立つ。
• 本分析は畳み込み層と全結合層を組み合わせたネットワークにも適用でき、従来の全結合ネットの結果と整合する。
• 境界は損失のリップシッツ性と非展開的活性化関数、および推定誤差を境界づけるカバー数の議論を組み合わせて導かれる。