[論文レビュー] Bayesian fractional posteriors

Anirban Bhattacharya, Debdeep Pati+1 more|arXiv (Cornell University)|Nov 3, 2016

Gaussian Processes and Bayesian Inference参考文献 43被引用数 8

ひとこと要約

本稿は、1未塔の累乗にされた尤度（分数尤度）を用いて更新されるベイジアン分数後度（Bayesian fractional posteriors）を導入し、モデルが誤指定されている状況下での収縮性を確立する。主な貢献は、スieve構成や検定関数を必要とせず、Kullback-Leibler近傍における事前分布の質量に関する新しい事前分布の条件を提示することで、頻度主義的収縮を保証する点にある。これにより、より広い事前分布の選択が可能となり、非パラメトリック回帰および密度推定における鋭いオラクル不等式が得られる。

ABSTRACT

We consider the fractional posterior distribution that is obtained by updating a prior distribution via Bayes theorem with a fractional likelihood function, a usual likelihood function raised to a fractional power. First, we analyze the contraction property of the fractional posterior in a general misspecified framework. Our contraction results only require a prior mass condition on certain Kullback-Leibler (KL) neighborhood of the true parameter (or the KL divergence minimizer in the misspecified case), and obviate constructions of test functions and sieves commonly used in the literature for analyzing the contraction property of a regular posterior. We show through a counterexample that some condition controlling the complexity of the parameter space is necessary for the regular posterior to contract, rendering additional flexibility on the choice of the prior for the fractional posterior. Second, we derive a novel Bayesian oracle inequality based on a PAC-Bayes inequality in misspecified models. Our derivation reveals several advantages of averaging based Bayesian procedures over optimization based frequentist procedures. As an application of the Bayesian oracle inequality, we derive a sharp oracle inequality in the convex regression problem under an arbitrary dimension. We also illustrate the theory in Gaussian process regression and density estimation problems.

研究の動機と目的

• 誤指定非 i.i.d. モデルにおけるベイジアン分数後度の後度収縮を確立すること。
• 従来のスieve構成や検定関数の構築を回避する、収縮のための最小限の条件を同定すること。
• 誤指定状況下でPAC-Bayes理論を用いて、新しいベイジアンオラクル不等式を導出すること。
• 最適化に基づく頻度主義的手法に比べ、平均化に基づくベイジアン手法の性能向上を示すこと。
• 理論的結果を凸回帰、ガウス過程回帰、密度推定に応用し、鋭いミニマックスレートを達成すること。

提案手法

• 収縮性の分析にRényi発散度を用い、1未塔の累乗 α < 1 にされた分数尤度に注目する。
• 収縮レートは、真の分布または最小化子分布のKullback-Leibler近傍に割り当てられる事前分布質量にのみ依存することを確立する。
• PAC-Bayes不等式を活用してベイジアンオラクル不等式を導出し、後度集中とリスク最小化の関係を明示する。
• スieveや検定関数の構築を避けて、代わりに事前分布質量と尤度の尾部挙動に依存する。
• メトリックエントロピーと事前分布集中の議論を用いて、形状制約付きモデル（特に凸回帰）に理論的結果を適用する。
• 重い尾部を持つ事前分布を用いた密度推定および回帰の例を通じて、フレームワークを検証し、分数後度が証明可能なミニマックスレートを達成することを示す。

実験結果

リサーチクエスチョン

• RQ1 誤指定モデル下で、分数後度はKullback-Leibler最小化子にどのような条件下で収縮するか？
• RQ2 スieveや検定関数の構築なしに、後度収縮を保証できるか？
• RQ3 分母後度は、事前分布の柔軟性および収縮レートにおいて、通常の後度と比べてどのように異なるか？
• RQ4 Rényi発散度と事前分布質量は、収縮挙動を決定づける役割を果たすか？
• RQ5 誤指定状況下で、頻度主義的最適化手法を上回る、新しいベイジアンオラクル不等式を導出可能か？

主な発見

• 分母後度は、Kullback-Leibler近傍における事前分布質量にのみ依存して収縮する。これにより、スieve構成の必要性が排除される。
• 収縮レートは鋭く、任意の次元において凸回帰でほぼミニマックス性能を達成する。
• 密度推定において、重い尾部を持つハイパーパラメータを用いることが可能であり、通常の後度では集中が成立しない状況でも有効である。
• PAC-Bayes理論を用いて、新しいベイジアンオラクル不等式を導出し、ベイジアン平均化の頻度主義的最適化手法に対する優位性を明らかにする。
• ガウス過程回帰および密度推定において、分母後度はきわめて弱い条件下でもミニマックスレートを達成する。
• 理論的に、分母後度では通常の後度とは異なり、より柔軟な事前分布の選択が可能であることが示される。