[論文レビュー] Generalization bounds via distillation

Daniel Hsu, Ziwei Ji+2 more|arXiv (Cornell University)|Apr 12, 2021

Sparse and Compressive Sensing Techniques参考文献 22被引用数 14

ひとこと要約

本稿は、良好なデータ拡張が用いられる場合、高複雑性のニューラルネットワークが、その簡素化された、より単純な対応物から一般化境界の向上を引き継ぐことによって、蒸留と一般化の間の理論的リンクを確立している。主な貢献は、ResNetアーキテクチャに対して具体的な境界を提示し、CIFAR-10およびMNISTでの実験を伴って検証された、元のネットワークの一般化境界であり、この境界は蒸留の複雑さに比例する。

ABSTRACT

This paper theoretically investigates the following empirical phenomenon: given a high-complexity network with poor generalization bounds, one can distill it into a network with nearly identical predictions but low complexity and vastly smaller generalization bounds. The main contribution is an analysis showing that the original network inherits this good generalization bound from its distillation, assuming the use of well-behaved data augmentation. This bound is presented both in an abstract and in a concrete form, the latter complemented by a reduction technique to handle modern computation graphs featuring convolutional layers, fully-connected layers, and skip connections, to name a few. To round out the story, a (looser) classical uniform convergence analysis of compression is also presented, as well as a variety of experiments on cifar and mnist demonstrating similar generalization performance between the original network and its distillation.

研究の動機と目的

• 深層学習における理論的一般化境界と実験的性能の乖離を解消すること。ここでの標準的な境界は、あまりに緩いため、実用的でない。
• 蒸留されたネットワークが単純であるにもかかわらず、元の複雑なモデルと同程度のテスト精度を維持するという経験的現象を説明すること。
• 良好なデータ拡張が適用される場合、元のネットワークが蒸留されたバージョンの改善された一般化境界を理論的に引き継ぐことを示すこと。
• 畳み込み層、全結合層、スキップ接続を処理できる還元技術を用いて、ResNet型アーキテクチャの具体的な一般化境界を提供すること。
• 主な手法よりも著しく緩い境界をもたらすものの、補足的な古典的均一収束分析を提示し、注意喚起のためのベンチマークを提供すること。

提案手法

• 蒸留距離を温度γにおけるソフトマックス出力で測定し、データ拡張を用いて安定性を確保することで、抽象的一般化境界（補題1.1）を提案する。
• 蒸留距離が安定しており、理論的分析に適していることを保証する良好なデータ拡張技術（補題1.2）を導入する。
• 層ごとの重み行列の被覆に帰着させ、フロベニウスノルムに基づく誤差境界を適用することで、ResNetアーキテクチャの具体的な一般化境界（定理1.3）を構築する。
• ラグランジュ最適化を用いて、層ごとの幅（k_j）と近似誤差（ε_j）のバランスをとり、全誤差制約のもとで被覆の基数を最小化する。
• ダドリーのエントロピー積分を用いて、元のネットワークのラデマッハ複雑度をバウンディングし、最終的な一般化境界をネットワーク幅、スペクトルノルム、構造的スパarsityに依存させる。
• 古典的均一収束分析（定理1.4）を補足的に提供するが、これは主手法ほどタイトな境界をもたらさない。

実験結果

リサーチクエスチョン

• RQ1 複雑なニューラルネットワークの一般化性能は、その生み出した単純な蒸留バージョンによって理論的に正当化可能か？
• RQ2 良好なデータ拡張は、蒸留に基づく境界の安定性および一般化にどのように影響するか？
• RQ3 蒸留されたネットワークの一般化境界は、どの程度まで、元の高複雑性モデルへと再帰的に伝播可能か？
• RQ4 スキップ接続や畳み込み層といったアーキテクチャ的要素は、一般化境界の導出にどのような影響を及けるか？
• RQ5 提案された境界は、古典的均一収束境界と比較して、タイトさと実用的妥当性においてどの程度優れているか？

主な発見

• MNISTでは元のResNetのテスト誤差は0.008、CIFAR-10では0.067である一方、標準的一般化境界は10^15まで緩く、古典的境界の緩さが広く知られている。
• 蒸留後、同じモデルの一般化境界は約10^10倍小さくなり、理論的タイトさの著しい向上が確認された。
• 蒸留されたネットワークは元のモデルとほぼ同一の予測とテスト誤差を維持しており、蒸留が予測性能を保持しながら複雑性を低減することを確認した。
• 提案された境界（定理1.3）は、蒸留ネットワークのラデマッハ複雑度に比例し、重み行列のフロベニウスノルム、スペクトルノルム、および層幅に依存する。
• ラグランジュに基づく層幅選択戦略により、全近似誤差がεで抑えられ、被覆基数の対数がO(β/ε^4)で抑えられる。ここでβはネットワークの深さ、幅、ノルム項を含む。
• 最終的なラデマッハ複雑度境界はO(n^{1/4} β^{1/4})に比例する。ここでβは入力ノルム、重み行列ノルム、構造的スパarsityの関数であり、古典的境界と比較して幅に依存する改善が示された。