[論文レビュー] On Tighter Generalization Bound for Deep Neural Networks: CNNs, ResNets, and Beyond

Xingguo Li, Junwei Lu+3 more|arXiv (Cornell University)|Jun 13, 2018

Neural Networks and Applications被引用数 12

ひとこと要約

本稿では、新たなヤコビアンに基づくリプシッツ特性化を導入することで、深層ニューラルネットワークのよりタイトなマージンベースの一般化境界を提案し、従来のノルムベースの境界を著しく改善する。この手法は、CNN や ResNet などの標準アーキテクチャにおいて、顕著にタイトな境界を達成しており、実験的検証により、先行研究と比較して桁違いの改善が示されている。

ABSTRACT

We establish a margin based data dependent generalization error bound for a general family of deep neural networks in terms of the depth and width, as well as the Jacobian of the networks. Through introducing a new characterization of the Lipschitz properties of neural network family, we achieve significantly tighter generalization bounds than existing results. Moreover, we show that the generalization bound can be further improved for bounded losses. Aside from the general feedforward deep neural networks, our results can be applied to derive new bounds for popular architectures, including convolutional neural networks (CNNs) and residual networks (ResNets). When achieving same generalization errors with previous arts, our bounds allow for the choice of larger parameter spaces of weight matrices, inducing potentially stronger expressive ability for neural networks. Numerical evaluation is also provided to support our theory.

研究の動機と目的

• 深さと幅に比例して良好にスケーリングする、深層ニューラルネットワークのタイトな一般化境界の欠如に対処する。
• 特にフロベニウスノルムおよび 2,1-ノルムに依存する、従来の境界の緩さを克服する。
• 畳み込みニューラルネットワークやResNetにおける重み行列の構造といった、ネットワークアーキテクチャを明示的に組み込んだ一般化境界を開発する。
• 提案された境界により、同じ一般化誤差を維持しながら、より大きなパrameter空間を許容できることを示し、モデルの表現力の向上を実現する。
• 実世界のデータセットおよびネットワークアーキテクチャを用いた実験的評価を通じて、理論的改善を検証する。

提案手法

• ネットワークのヤコビアン行列のスペクトルノルムを用いた、深層ニューラルネットワークのリプシッツ性の新しい特徴化を導入する。
• ヤコビアンノルム $\|\text{Jacobian}\|_2$、深さ $D$、幅 $p$、サンプルサイズ $m$ に比例するマージンベースの一般化誤差境界を導出する。
• 構造的性質を活用することで、標準アーキテクチャに境界を適用する：CNNにおける直交フィルタおよびResNetにおけるスキップ接続。
• 有界な損失関数に対しては、境界をさらにタイトにでき、サイズに依存しない一般化誤差レートを達成できることを示す。
• ヤコビアンノルムおよび重み行列ノルムの実験的推定を用い、提案された境界と従来のノルムベース境界とのタイトさを比較する。
• CIFAR-10 で訓練された VGG19 を用いた数値実験により、$B^{\text{Jac}}_{1:D}$ と $\prod_d B_{d,2}$ の実験的値を比較し、ヤコビアンベースの測度の優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 重み行列ノルムの積に依存する程度を減らすことで、深層ニューラルネットワークのよりタイトな一般化境界を導出可能か？
• RQ2 従来のノルムベース手法と比較して、ヤコビアンベースのリプシッツ特徴化は一般化境界をどのように改善するか？
• RQ3 提案された境界は、重み行列構造を活用できる構造的アーキテクチャ（例：CNN や ResNet）に効果的に適用可能か？
• RQ4 提案された境界により、同じ一般化誤差を維持しながら、より大きなパrameter空間を許容でき、結果としてモデルの表現力が向上するか？
• RQ5 実際の学習シナリオにおいて、ヤコビアンノルムの実験的値は、スペクトルノルムやフロベニウスノルムといった従来のノルムと比較してどのように異なるか？

主な発見

• 提案された一般化境界は $\widetilde{\mathcal{O}}(\|\text{Jacobian}\|_2 \sqrt{Dpr/m})$ のスケーリングを示し、$\prod_d \|W_d\|_2$ や $\prod_d \|W_d\|_\text{F}$ に依存する先行研究の境界と比較して著しくタイトである。
• CIFAR-10 における VGG19 では、$B^{\text{Jac}}_{1:D}$ の実験的値が $\prod_d B_{d,2}$ より約 2 時間分小さいことが判明し、はるかにタイトな境界であることを示している。
• ヤコビアンノルム $B^{\text{Jac}}_{1:D}$ は $\prod_d B_{d,2}$ よりも深さに伴う増加が遅く、深さに伴う二乗以上の依存関係が緩やかである可能性を示している。
• CNN では、境界が $\widetilde{\mathcal{O}}\big{(}(k/s)^{D/2} \sqrt{Dk^2}/\sqrt{m}\big{)}$ に達し、先行研究の $\widetilde{\mathcal{O}}\big{(}(k/s)^{(D-1)/2} \sqrt{D^3 p^2}/\sqrt{m}\big{)}$ よりもタイトである。
• 実験的結果から、フィルタノルムが小さいほど一般化誤差が減少することが示されたが、あまりに小さいノルムは精度を低下させることから、バランスの取れた重み初期化の必要性が確認された。
• $B^{\text{Jac}}_{1:D}$ よりも緩い $\prod_d B_{d,2}$ を用いても境界はタイトに保たれるが、後者の方が著しく小さい値を示しており、依然としてヤコビアンベースの測度の優位性が確認された。