[論文レビュー] PAC-Bayesian Theory Meets Bayesian Inference

Pascal Germain, Francis Bach+2 more|arXiv (Cornell University)|May 27, 2016

Gaussian Processes and Bayesian Inference参考文献 34被引用数 14

ひとこと要約

本論文は、i.i.d. データの下で、PAC-Bayesianリスクバインディングとベイジアン周辺尤度の間の直接的な理論的リンクを確立し、PAC-Bayesianバインディングを最小化することは、負の対数尤度損失の下でベイジアン周辺尤度を最大化することと同値であることを示している。さらに、PAC-Bayesian定理を有界でないサブガンマ損失に拡張し、ベイジアン線形回帰における一般化保証の向上を伴ってそのアプローチを検証した。

ABSTRACT

We exhibit a strong link between frequentist PAC-Bayesian risk bounds and the Bayesian marginal likelihood. That is, for the negative log-likelihood loss function, we show that the minimization of PAC-Bayesian generalization risk bounds maximizes the Bayesian marginal likelihood. This provides an alternative explanation to the Bayesian Occam's razor criteria, under the assumption that the data is generated by an i.i.d distribution. Moreover, as the negative log-likelihood is an unbounded loss function, we motivate and propose a PAC-Bayesian theorem tailored for the sub-gamma loss family, and we show that our approach is sound on classical Bayesian linear regression tasks.

研究の動機と目的

• i.i.d. データの仮定の下で、PAC-Bayesian一般化バインディングとベイジアン周辺尤度の間の正式な関係を確立すること。
• サブガンマ損失フレームワークを導入することで、特に負の対数尤度損失を含む有界でない損失関数に対するPAC-Bayesian理論を拡張すること。
• ベイジアン・オッカムの剃刀を、PAC-Bayesianバインディングに埋め込まれた複雑さと精度のトレードオフとしての新たな解釈を提供すること。
• 古典的なベイジアン線形回帰タスクにおける提案されたフレームワークの実証的妥当性を検証すること、一般化保証の向上を示すこと。

提案手法

• 負の対数尤度損失関数に対して、PAC-Bayesianリスクバインディングを最小化することは、ベイジアン周辺尤度を最大化することと数学的に同値であることを理論的に導出する。
• モーメント生成関数を用いて適切な集中不等式を導出し、PAC-Bayesian定理をサブガンマ分布損失に適応する。
• バインディング導出における事前分布と事後分布のカルバック・ライブララー距離を正則化項として用い、ベイジアンモデル証拠と関連付ける。
• ガウス事前分布と尤度を用いたベイジアン線形回帰に拡張されたPAC-Bayesianフレームワークを適用し、期待損失とKLダイバージェンスの明示的表現を計算する。
• 有界でない負の対数尤度損失の下でバインディングが成立するように、サブガンマ条件を満たす係数 c と s を導出する。
• 標準的なベイジアン線形回帰タスクにおける方法の実証的評価を行い、PAC-Bayesianバインディングを最小化することは、周辺尤度を最大化することと整合することを示した。

実験結果

リサーチクエスチョン

• RQ1 PAC-Bayesianリスクバインディングは、負の対数尤度損失に対して、ベイジアン周辺尤度と直接的に結びつけることができるか？
• RQ2 PAC-Bayesian理論は、負の対数尤度のような有界でない損失関数を扱えるように拡張できるか？
• RQ3 PAC-Bayesianバインディングを最小化することは、周辺尤度によって測定される最適なベイジアンモデル選択をもたらすか？
• RQ4 ベイジアン線形回帰の文脈において、負の対数尤度損失の適切なサブガンマパラメータ（c, s）は何か？

主な発見

• i.i.d. データの下で、負の対数尤度損失に対するPAC-Bayesianリスクバインディングを最小化することは、数学的にベイジアン周辺尤度を最大化することと同値である。
• ベイジアン・オッカムの剃刀の原則は、PAC-Bayesianバインディングに埋め込まれた複雑さと精度のトレードオフとしての自然な結果であると再解釈された。
• 本論文は、ベイジアン線形回帰における負の対数尤度損失に対して明示的なサブガンマ係数 c と s を導出し、有界でない設定でもPAC-Bayesianバインディングを適用可能にした。
• 事後分布における期待損失は、経験的リスクと設計行列および事後共分散を含むトレースに基づく正則化項の和として表現された。
• 事後分布と事前分布のKLダイバージェンスは、事後平均、共分散、および事前分散の関数として明示的に計算され、ベイジアン推論と整合的であることが確認された。
• ベイジアン線形回帰における実証的結果から、提案されたPAC-Bayesianフレームワークが理論的に整合的で、信頼できる一般化保証を生成することが示された。