[論文レビュー] Size-free generalization bounds for convolutional neural networks

Philip M. Long, Hanie Sedghi|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications被引用数 20

ひとこと要約

この論文は、入力サイズや特徴マップの次元に依存せず、訓練損失、パラメータ数、損失関数のリプシッツ定数、および初期値からの重みの距離に依存する、畳み込みニューラルネットワークのサイズフリーの一般化境界を確立する。これらの境界はCIFAR-10とそのスケーリングされた縮小版で実証的に検証され、従来の手法よりも実際の一般化ギャップとより緊密に相関していることが示された。

ABSTRACT

We prove bounds on the generalization error of convolutional networks. The bounds are in terms of the training loss, the number of parameters, the Lipschitz constant of the loss and the distance from the weights to the initial weights. They are independent of the number of pixels in the input, and the height and width of hidden feature maps. We present experiments with CIFAR-10 and a scaled-down variant, along with varying hyperparameters of a deep convolutional network, comparing our bounds with practical generalization gaps.

研究の動機と目的

• 入力サイズや特徴マップの次元に依存しない畳み込みニューラルネットワークの一般化境界の開発。
• ピixe数や特徴マップの空間次元に依存しない境界の導出を目的とし、さまざまなネットワークアーキテクチャへの広範な適用を可能にする。
• 損失関数のリプシッツ定数と初期値からの重みの距離を組み込むことで、一般化境界のタイトさを向上させること。
• CIFAR-10とその縮小版に対して、さまざまなハイパーパrameter設定下での実際の一般化ギャップと比較して、提案された境界の実証的評価。

提案手法

• ラデマッハ複雑度と重みパスノルム解析を用いた一般化境界の理論的導出。
• 重みの摂動に対する感度を制御するため、損失関数のリプシッツ定数の組み込み。
• 境界式における正則化子として、最終的および初期のネットワーク重み間のユークリッド距離の使用。
• パラメータ数と訓練損失に比例するが、入力解像度や特徴マップのサイズに依存しない境界の導出。
• さまざまなハイパーパrameter設定下でCIFAR-10とダウンサンプリングされたバージョン上で訓練された深層畳み込みネットワークへの境界の適用。

実験結果

リサーチクエスチョン

• RQ1 入力サイズや特徴マップの次元に依存しない、CNNの一般化境界を導出可能か？
• RQ2 訓練済み重みが初期値からどれほど離れているかが、一般化誤差に与える影響は何か？
• RQ3 提案された境界が実際の一般化ギャップとどの程度相関しているか？
• RQ4 さまざまなハイパーパrameter設定下で、深層畳み込みネットワークにおける境界の性能はいかがなものか？

主な発見

• 提案された境界は、入力のピクセル数や特徴マップの空間次元に依存せず、サイズフリーの解析を可能にする。
• 境界はパラメータ数と訓練損失に比例するが、入力解像度やネットワークの深さ（空間次元の観点から）には依存しない。
• 損失関数のリプシッツ定数と初期値からの重みの距離を組み込むことで、境界のタイトさが向上する。
• CIFAR-10とそのスケーリングされた縮小版における実証的評価から、従来の手法よりも提案された境界が実際の一般化ギャップとより緊密に相関していることが示された。