[論文レビュー] PAC-Bayes Information Bottleneck

Zifeng Wang, Shao-Lun Huang+4 more|arXiv (Cornell University)|Sep 29, 2021

Machine Learning and Algorithms参考文献 45被引用数 11

ひとこと要約

本稿では、深層学習の一般化を説明するために、ネットワーク重みに蓄えられた情報（IIW）を用いる情報理論的枠組みであるPAC-Bayes情報ボトルネック（PIB）を提案する。IIWをPAC-Bayes境界を用いて近似し、SGLDを用いてベイズ推論を可能にすることで、学習中に適合から圧縮への段階的転移が観察され、標準的な正則化手法を一貫して上回り、ラベルのノイズやバッチサイズの変化といった多様な設定において一般化を説明できる。

ABSTRACT

Understanding the source of the superior generalization ability of NNs remains one of the most important problems in ML research. There have been a series of theoretical works trying to derive non-vacuous bounds for NNs. Recently, the compression of information stored in weights (IIW) is proved to play a key role in NNs generalization based on the PAC-Bayes theorem. However, no solution of IIW has ever been provided, which builds a barrier for further investigation of the IIW's property and its potential in practical deep learning. In this paper, we propose an algorithm for the efficient approximation of IIW. Then, we build an IIW-based information bottleneck on the trade-off between accuracy and information complexity of NNs, namely PIB. From PIB, we can empirically identify the fitting to compressing phase transition during NNs' training and the concrete connection between the IIW compression and the generalization. Besides, we verify that IIW is able to explain NNs in broad cases, e.g., varying batch sizes, over-parameterization, and noisy labels. Moreover, we propose an MCMC-based algorithm to sample from the optimal weight posterior characterized by PIB, which fulfills the potential of IIW in enhancing NNs in practice.

研究の動機と目的

• 深層学習の一般化を説明できる、実用的で理論的根拠を持つ、ニューラルネットワーク重みに蓄えられた情報（IIW）の測定法の欠如に対処すること。
• 非自明な一般化境界を提供し、学習における適合-圧縮段階的転移を捉える、PAC-Bayesに基づく情報ボトルネック（PIB）を構築すること。
• PIBフレームワークに根ざしたSGLDを用いた効率的なベイズ推論を可能にし、大規模な深層ネットワークにおける一般化の向上を実現すること。
• さまざまな学習条件（ノイズのあるラベル、変化するバッチサイズなど）において、IIWがモデルの複雑さと一般化を普遍的に測る指標として実証的に検証すること。

提案手法

• PAC-Bayes一般化境界を用いて、ネットワーク重みと訓練データ間の相互情報量I(w;S)に基づく、新たな情報ボトルネックフレームワーク、PAC-Bayes情報ボトルネック（PIB）を提案する。
• PAC-Bayesフレームワーク内での変分推論アプローチを用いて、計算不能なI(w;S)の効率的近似法を開発する。
• PIBが定義する最適な事後分布からのサンプリングを可能にする、SGLDに基づくベイズ推論アルゴリズムを設計し、実用的導入を可能にする。
• PIBから導出されたエネルギー関数を用いて確率的最適化を誘導し、既存のSGDベースの学習パイプラインへのスムーズ統合を可能にする。
• 任意の事前学習済みニューラルネットワークに、アーキテクチャの変更なしにPIB正則化を追加可能な、プラグアンドプレイ型のモジュラー設計を採用する。
• ハイパーパrameter、ラベルノイズ、バッチサイズの変化を含む、CIFAR-10/100、SVHN、STL-10における広範な実験を通じてフレームワークを検証する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークに、適合の次に圧縮が続く普遍的な二段階的学習行動が存在するか。また、表現ではなく重みに蓄えられた情報によってその行動を捉えることができるか。
• RQ2 重みに蓄えられた情報（IIW）は、さまざまなアーキテクチャやデータ条件において、理論的根拠を持ち非自明なモデルの複雑さの測定指標として一般化を説明できるか。
• RQ3 IIWは、ラベルノイズ、過剰パラメータ化、変化するバッチサイズの下で、一般化ギャップとどのように関係するか。
• RQ4 PIBフレームワークを用いて、大規模な深層ネットワークにおける一般化を向上させる実用的なベイズ推論手法を設計できるか。

主な発見

• PIBフレームワークは、ReLU、シグモイド、tanh、線形活性化関数のすべてにおいて、明確な適合から圧縮への段階的転移を捉えていることが確認された。
• PIBで訓練されたモデルはCIFAR-10で80.19%のテスト精度を達成し、ヴァニラSGD（77.03%）、ℓ2正則化付きSGD（77.13%）、ドロップアウト付きSGD（78.95%）を上回った。95%信頼区間は(0.42)である。
• バッチサイズ16でIIWが最小化され、一般化ギャップが最小でテスト精度が最大になることと一致しており、最適なバッチサイズが存在することが示唆された。
• ランダムラベルで学習した場合でも、IIWは一般化ギャップを効果的に捉えており、テスト精度が約10%のまま維持される一方でIIWが顕著に増加するため、データ分布の不一致に敏感であることが示された。
• 特に広いネットワークでは、ℓ2ノルムが増加する一方でIIWは安定化または減少するため、ℓ2ノルムよりもIIWの方が真のモデルの複雑さをより適切に反映しており、一般化との相関性が優れている。
• SGLDに基づく推論アルゴリズムは、PIB最適化事後分布からのサンプリングに成功し、一般化が向上する実用的なベイズディープラーニングを可能にした。