[論文レビュー] PAC-Bayes with Backprop

Omar Rivasplata, Vikram M Tankasali+1 more|arXiv (Cornell University)|Aug 19, 2019

Adversarial Robustness in Machine Learning参考文献 32被引用数 15

ひとこと要約

本稿では、バックプロパゲーションを用いた確率的ニューラルネットワークの訓練のための2つの新しいPAC-Bayes訓練目的—PAC-Bayes-lambdaおよびPAC-Bayes-quadratic—を導入する。これらの手法は、MNISTにおけるテスト誤差（約1.4％）を競争可能な水準に保ちつつ、先行研究よりも著しくタイトで空でないリスクバウンド（約2.3％）を生成することを示しており、理論的保証と実用的性能の両方を備えた自己バウンディング学習への進展を示唆している。

ABSTRACT

We explore the family of methods "PAC-Bayes with Backprop" (PBB) to train probabilistic neural networks by minimizing PAC-Bayes bounds. We present two training objectives, one derived from a previously known PAC-Bayes bound, and a second one derived from a novel PAC-Bayes bound. Both training objectives are evaluated on MNIST and on various UCI data sets. Our experiments show two striking observations: we obtain competitive test set error estimates (~1.4% on MNIST) and at the same time we compute non-vacuous bounds with much tighter values (~2.3% on MNIST) than previous results. These observations suggest that neural nets trained by PBB may lead to self-bounding learning, where the available data can be used to simultaneously learn a predictor and certify its risk, with no need to follow a data-splitting protocol.

研究の動機と目的

• 強い一般化性能とタイトなリスク証明を両立する確率的ニューラルネットワークのための新しいPAC-Bayes訓練目的の開発。
• テストセット誤差推定値と非空のPAC-Bayesリスク上界の間のギャップを埋め、より情報豊かな性能保証を可能にすること。
• 複雑な事前分布や最適化手法を用いる先行研究とは対照的に、単純なデータフリー事前分布と標準的なSGDを用いても、よりタイトなバウンドが達成可能であることを示すこと。
• PAC-Bayes with Backpropが「自己バウンディング学習」を可能にするかどうかを調査すること。自己バウンディング学習とは、データ分割を伴わず、リスクバウンドが実際のテスト性能に密接に追従する状態を指す。
• MNIST、UCIベンチマーク、CIFAR-10の初期実験を含む多様なデータセットにおける評価を通じて、一般化可能性を評価すること。

提案手法

• 2次不等式を解くことで得られる新しいPAC-Bayes-quadraticバウンドを提案し、一般化リスクのよりタイトな上界を提供する。
• Thiemannら（2017）が提案したPAC-Bayes-lambdaバウンドを、ニューラルネットワーク訓練のベースライン訓練目的として適応応用する。
• 固定されたデータフリー事前分布を用い、標準的な確率的勾配降下法（SGD）で確率的ニューラルネットワークの重み分布を最適化する。
• バックプロパゲーションを用いてPAC-Bayes目的関数のネットワーク重みに関する勾配を計算し、エンドツーエンドの訓練を可能にする。
• 重みの事後分布に対して変分近似を用い、PAC-Bayesバウンドを正則化された訓練目的として最小化する。
• ヒューリスティックな正則化やデータ依存の事前分布を避ける。代わりに、理論的根拠に基づいたバウンドと標準的な最適化に依存する。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayes with Backpropは、Blundellら（2015）の手法と同等のテストセット誤差を達成できるか？
• RQ2 PBBが生成するPAC-Bayesリスク上界は、DziugaiteとRoy（2017, 2018）の先行研究よりも著しくタイトなものになるか？
• RQ3 単純でデータフリーの事前分布と標準的なSGDを用いることで、実際のテスト性能に密接に追従する非空のバウンドが得られるか？
• RQ4 PBB手法は、リスク証明が情報豊かでかつ真のテスト誤差に近い状態である「自己バウンディング学習」を可能にするか？
• RQ5 PBB目的関数は、MNIST、UCIベンチマーク、さらにはCIFAR-10のようなより複雑なデータセットを含む多様なデータセットに一般化できるか？

主な発見

• MNISTでは、PBB手法が1.4％（0.014）のテスト誤差を達成し、Blundellら（2015）の先行研究と同等またはそれを上回る性能を示した。
• 達成された最小のPAC-Bayesリスク上界は2.3％（0.023）であり、先行研究（例：DziugaiteとRoy, 2018では0.21）と比較して顕著な改善を示しており、よりタイトな一般化保証を示している。
• リスク証明とテスト誤差推定値のギャップが著しく縮小されており、バウンドが情報豊かで空でないことを示唆している。
• 5つのUCIデータセットにおける実験では、PBB手法がタイトなバウンドと競争力のあるテスト性能を維持していることが確認され、MNIST以外の一般化可能性が裏付けられた。
• CIFAR-10における初期実験では、リスクバウンドがテスト誤差の3倍程度にまで大きかったため、より大きな・より複雑なデータセットでは、よりタイトなバウンドを達成することが依然として挑戦的であることが示された。
• PAC-Bayes目的関数におけるKLダイバージェンス項が、特に深層ネットワークでは主要なボトルネックであると特定され、アーキテクチャ設計や事前分布の改善が求められることが示唆された。