[論文レビュー] Compression based bound for non-compressed network: unified generalization error analysis of large compressible deep neural network

Taiji Suzuki, Hiroshi Abe+1 more|arXiv (Cornell University)|Sep 25, 2019

Sparse and Compressive Sensing Techniques参考文献 63被引用数 11

ひとこと要約

本稿では、従来は圧縮モデルにのみ適用可能だった、非圧縮の元の深層ニューラルネットワークにおける圧縮に基づく一般化誤差境界を導出する統一的フレームワークを提案する。データに依存する局所的ラデマッハ複雑度とバイアス項の改善を活用することで、よりタイトでデータに依存する境界が得られ、特に共分散に基づく圧縮を用いる場合、重みに基づく低ランク近似よりも2乗の改善効果を発揮する。これは、過パラメータ化されたネットワークにおける一般化をよりよく説明する。

ABSTRACT

One of the biggest issues in deep learning theory is the generalization ability of networks with huge model size. The classical learning theory suggests that overparameterized models cause overfitting. However, practically used large deep models avoid overfitting, which is not well explained by the classical approaches. To resolve this issue, several attempts have been made. Among them, the compression based bound is one of the promising approaches. However, the compression based bound can be applied only to a compressed network, and it is not applicable to the non-compressed original network. In this paper, we give a unified frame-work that can convert compression based bounds to those for non-compressed original networks. The bound gives even better rate than the one for the compressed network by improving the bias term. By establishing the unified frame-work, we can obtain a data dependent generalization error bound which gives a tighter evaluation than the data independent ones.

研究の動機と目的

• 過パラメータ化された深層ネットワークにおいて、古典的境界が失敗する一般化理論のギャップを埋めること。
• 圧縮に基づく一般化境界を、圧縮済みネットワークから元の非圧縮ネットワークに拡張すること。
• 既存のデータに依存しないまたはノルムに基づく境界よりもタイトなデータに依存する境界を開発すること。
• 大規模な深層ネットワークが高容量にもかかわらず一般化がうまくいく理由を、暗黙の正則化と圧縮可能性を通じて説明すること。
• 元のネットワークの圧縮特性とその一般化性能を結びつけることで、理論的分析を統一すること。

提案手法

• 圧縮済みネットワークからその元の非圧縮版への圧縮に基づく境界を移転する統一的理論的フレームワークを導入すること。
• 古典的VCスタイルの境界を避けるために、元のネットワークと圧縮ネットワーク間の母集団 $L_2$-距離を局所的ラデマッハ複雑度で制御すること。
• 活性化の共分散行列を用いてデータに依存する容量制御を実施し、重み行列よりもデータ固有の冗長性をより効果的に捉えること。
• 共分散に基づく圧縮による2乗スケーリングのおかげでバイアス項が改善され、よりタイトな境界が得られる一般化誤差境界を導出すること。
• SGDが低ランク構造を誘導するという暗黙のバイアス仮説を用い、学習済みネットワークの圧縮可能性を正当化すること。
• 重み行列と活性化共分散行列の両方を用いて内因的次元を分析し、後者が特に高いしきい値（例：$\nu = 10^{-3}$）で顕著に低い有効次元を示すことを示すこと。

実験結果

リサーチクエスチョン

• RQ1 圧縮に基づく一般化誤差境界を、非圧縮の元の深層ニューラルネットワークに意味的に適用可能か？
• RQ2 古典的VCスタイルの境界に頼らず、元のネットワークと圧縮ネットワーク間の母集団 $L_2$-距離をタイトに境界づけるにはどうすればよいか？
• RQ3 特に活性化共分散行列によるデータに依存する圧縮が、一般化誤差境界の改善に果たす役割は何か？
• RQ4 大規模な深層ネットワークが高パラメータ数にもかかわらず一般化がうまくいくのはなぜか？これは圧縮可能性と暗黙のバイアスによって説明可能か？
• RQ5 有効次元と境界のタイトさという観点から、共分散に基づく圧縮と重みに基づく低ランク近似はどのように比較されるか？

主な発見

• 提案された元のネットワーク用の境界は、バイアス項の制御が改善されているため、圧縮済みネットワーク用の境界よりもタイトである。
• 共分散に基づく圧縮は、重み行列の低ランク近似による線形改善よりも2乗の改善を有効次元で示し、優れている。
• 有効次元は実際のパラメータ数よりも顕著に小さく、特に深い層（例：c8 から l18）では情報の精錬が早期に起こっていることを示している。
• すべての層において、共分散行列を用いた有効次元は重み行列を用いたものよりも一貫して低く、特に高いしきい値（例：$\nu = 10^{-3}$）で顕著である。
• 本手法は、古典的VC次元境界およびノルムに基づく境界よりも、特に深層ネットワークにおいてタイトな一般化誤差境界を達成している。
• 分析により、重み行列と活性化共分散行列の両方の低ランク近似を組み合わせることで、より鋭い境界が得られ、提案された統一的フレームワークによって実現可能であることが示された。