[論文レビュー] PAC-Bayes Compression Bounds So Tight That They Can Explain Generalization

Sanae Lotfi, Marc Finzi+4 more|arXiv (Cornell University)|Nov 24, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

本論文は、学習された線形部分空間内で深層ニューラルネットワークを訓練し、適応的量子化を適用することで、最先端の一般化境界を達成する新しいPAC-Bayes圧縮フレームワークを提案する。これにより、一般化を圧縮可能性を通じて説明できる大幅にタイトな境界が得られ、データに依存しない事前分布がデータに依存するものよりも情報量が多いことが明らかになった。また、モデルの圧縮可能性がトランスファー学習、等長性、ダブルデセントといった深層学習の主要な現象を説明できることを示した。

ABSTRACT

While there has been progress in developing non-vacuous generalization bounds for deep neural networks, these bounds tend to be uninformative about why deep learning works. In this paper, we develop a compression approach based on quantizing neural network parameters in a linear subspace, profoundly improving on previous results to provide state-of-the-art generalization bounds on a variety of tasks, including transfer learning. We use these tight bounds to better understand the role of model size, equivariance, and the implicit biases of optimization, for generalization in deep learning. Notably, we find large models can be compressed to a much greater extent than previously known, encapsulating Occam's razor. We also argue for data-independent bounds in explaining generalization.

研究の動機と目的

• 深層ニューラルネットワークのためのよりタイトなPAC-Bayes一般化境界を開発し、深層学習がなぜ一般化するのかを意味的に説明できるようにすること。
• 一般化を説明するために、暗黙のバイアスや最適化ダイナミクスに依存するのではなく、モデルの圧縮可能性そのもので十分であるかどうかを調査すること。
• PAC-Bayes境界を用いて、データに依存する事前分布とデータに依存しない事前分布の相対的な情報量の高さを評価すること。
• 圧縮可能性の観点から、モデルサイズ、等長性、最適化によって生じる帰納的バイアスの役割を理解すること。
• トランスファー学習や構造的帰納的バイアスが圧縮可能性を向上させ、その結果として一般化境界が改善されることを示すこと。

提案手法

• パラメータ空間内のランダムな線形部分空間内でニューラルネットワークを訓練し、構造的かつ低次元の圧縮を可能にする。
• 部分空間内でのモデルパラメータの圧縮のために学習された量子化を適用し、モデルを表現するために必要なビット数を最小化する。
• Occamの剃刀を反映する事前分布（量子化された重みを中心とするガウス混合）を用いてPAC-Bayes境界を構築する。
• 変長符号化（例：ハフマン符号化や算術符号化）を用いて、圧縮モデルを表現するために必要な有効ビット数を削減し、境界のタイトさを向上させる。
• 事後分布と事前分布のKLダイバージェンスを考慮した、修正されたCatoniスタイルのPAC-Bayes境界を計算する。
• データに依存する事前分布とデータに依存しない事前分布の両方を評価し、後者を用いてデータ固有の影響とは独立して圧縮可能性の役割を分離する。

実験結果

リサーチクエスチョン

• RQ1 最適化ダイナミクスや損失関数の形状の性質とは無関係に、モデルの圧縮可能性のみで深層ニューラルネットワークの一般化を説明できるか？
• RQ2 なぜデータに依存するPAC-Bayes境界は、事前分布そのもので予測可能な範囲を超えて一般化を説明できないのか？
• RQ3 トランスファー学習が一般化境界をどのように改善するのか？その改善は圧縮可能性の向上によるものなのか？
• RQ4 データの構造（例：画像における空間的構造）がモデルの圧縮可能性に与える影響はどの程度で、その結果として一般化境界にどのような影響を及えるのか？
• RQ5 SGD や重み減衰の暗黙のバイアスが一般化に寄与しているのか、それとも圧縮可能性が十分に一般化を説明できるのか？

主な発見

• 提案手法は、CIFAR-10およびMNISTにおいて、先行研究よりも著しくタイトなPAC-Bayes一般化境界を達成し、最先端の性能を発揮した。
• データに依存しない事前分布は、データに依存するものよりも情報量が多く、事前分布そのものだけでも、あるいはそれ以上に、完全なデータに依存する境界を上回る性能を示した。
• トランスファー学習は圧縮可能性を向上させ、その結果として一般化境界がタイトになることから、その実験的成功が圧縮可能性の向上によって説明できる。
• CIFAR-10でピクセルやラベルをシャッフルすると、モデルの圧縮可能性が著しく低下し、境界が悪化する。これは、データの構造が圧縮可能性を通じて一般化を可能にしていることを示している。
• 回転構造を有するタスクにおいて、CNNのような等長性を持つモデルは、全結合ネットワークよりも圧縮可能性が高く、その優れた一般化性能が説明できる。
• 一般化誤差におけるダブルデセントの挙動が、PAC-Bayス境界に対しても再現され、モデル幅が大きくなると境界が再び改善される。これは、圧縮可能性が幅とアーキテクチャの完全な帰納的バイアスを捉えていることを示唆している。