[論文レビュー] PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime

Warren R. Morningstar, Alexander A. Alemi+1 more|arXiv (Cornell University)|Oct 19, 2020

Statistical Methods and Inference被引用数 5

ひとこと要約

この論文は、予測リスクの境界において平均と対数の順序を入れ替えることで、適合不全のベイジアンモデルにおける一般化ギャップを狭める、PAC$^m$-Bayesと呼ばれる新しいマルチサンプル損失を導入する。この損失を最適化することで、予測不確実性の推定が向上し、標準的なベイジアン推論に比べてベイジアンニューラルネットワークにおける不均一分散ノイズをよりよく捉える優れた性能が実証された。

ABSTRACT

The Bayesian posterior minimizes the "inferential risk" which itself bounds the "predictive risk". This bound is tight when the likelihood and prior are well-specified. However since misspecification induces a gap, the Bayesian posterior predictive distribution may have poor generalization performance. This work develops a multi-sample loss (PAC$^m$) which can close the gap by spanning a trade-off between the two risks. The loss is computationally favorable and offers PAC generalization guarantees. Empirical study demonstrates improvement to the predictive distribution.

研究の動機と目的

• 適合不全のベイジアンモデルにおいて、推論リスクと予測リスクのギャップを解消すること。標準的なベイジアン推論では一般化がうまくいかない。
• 推論の正確さではなく、予測性能を直接最適化する計算効率の良い損失関数の開発。
• 提案されたマルチサンプル予測リスクの境界に対するPAC一般化保証の提供。
• 実世界のベイジアンニューラルネットワークのタスクにおいて、この手法が事後予測分布をどのように改善するかを実証的に検証すること。

提案手法

• リスク式における平均と対数の順序を入れ替えることで、真の予測リスクに対する新しいマルチサンプル境界（PAC$^m$-Bayes）を提案する。
• 標準的な平均対数尤度の代わりに、対数平均尤度損失を用いることで、最適化の焦点を推論リスク最小化から予測リスク最小化へとシフトさせる。
• モデルの適合不全下では、従来の推論リスク境界よりもこの境界がタイトであることが示され、より良い一般化が可能になる。
• 理論的分析により、標準的なPAC-Bayes仮定の下で境界の余剰（slack）が有界であることが証明され、一般化保証が保証される。
• 実験的評価では、構造化されたおよび確率的な重みを有するベイジアンニューラルネットワークを用い、訓練におけるサンプル数$m$とハイパーパrameter$\beta$を変化させた。
• 性能評価には、予測分布推定のための100サンプルのモンテカルロ推定を用いた負の事後予測尤度（nlpp）と正解率を用いた。

実験結果

リサーチクエスチョン

• RQ1 平均と対数の順序を入れ替えるマルチサンプル損失は、適合不全のベイジアンモデルにおける一般化を改善できるか？
• RQ2 PAC$^m$-Bayesは、標準的なベイジアン推論や最尤推定と比較して、予測リスクと不確実性推定においてどのように異なるか？
• RQ3 提案された境界は、既存の推論リスク境界よりもタイトな一般化保証を提供するか？
• RQ4 サンプル数$m$とハイパーパrameter$\beta$の変化が、ベイジアンニューラルネットワークにおける予測性能に与える影響は何か？

主な発見

• 提案されたPAC$^m$-Bayes損失は、図1に示すように、標準的なベイジアン推論が失敗する不均一分散ノイズを捉えることができ、ベイジアンニューラルネットワークにおける予測不確実性推定を顕著に向上させる。
• PAC$^m$-Bayesで訓練されたモデルは、標準的なベイジアン推論よりも低い負の事後予測尤度（nlpp）を達成しており、より良い予測密度推定を示している。
• この手法は、特にモデルの適合不全下では、従来の推論リスク境界よりも真の予測リスクに対するタイトな境界を提供する。
• 実験的結果から、$m$（訓練で使用するサンプル数）を増やすことで性能が向上し、タスクに応じて$m=4$から$m=32$の範囲で最適性能が得られることが示された。
• この手法は、CIFAR-10やMNISTといった複数のデータセットおよび構造化された・確率的な重みを有する両方のモデルアーキテクチャにおいて、強力な一般化性能を維持している。
• 理論的分析により、PAC$^m$-Bayes境界の余剰が標準的なPAC-Bayes仮定の下で有界であることが確認され、一般化保証への応用が裏付けられた。