[論文レビュー] Bayesian model selection consistency and oracle inequality with intractable marginal likelihood

Yun Yang, Debdeep Pati|arXiv (Cornell University)|Jan 2, 2017

Bayesian Methods and Mixture Models参考文献 2被引用数 15

ひとこと要約

この論文は、周辺尤度が扱いにくく、弱い識別可能性および事前分布の反集中条件の下で、ベイズ的モデル選択の頻度的一貫性とオラクル不等式を確立する。局所ベイズ的複雑度を導入し、後抽樣濃度の適応的特性を特徴づける。高次元非パラメトリック回帰および密度回帰において、モデル選択の一貫性と最適な後抽樣レートを証明する。

ABSTRACT

In this article, we investigate large sample properties of model selection procedures in a general Bayesian framework when a closed form expression of the marginal likelihood function is not available or a local asymptotic quadratic approximation of the log-likelihood function does not exist. Under appropriate identifiability assumptions on the true model, we provide sufficient conditions for a Bayesian model selection procedure to be consistent and obey the Occam's razor phenomenon, i.e., the probability of selecting the "smallest" model that contains the truth tends to one as the sample size goes to infinity. In order to show that a Bayesian model selection procedure selects the smallest model containing the truth, we impose a prior anti-concentration condition, requiring the prior mass assigned by large models to a neighborhood of the truth to be sufficiently small. In a more general setting where the strong model identifiability assumption may not hold, we introduce the notion of local Bayesian complexity and develop oracle inequalities for Bayesian model selection procedures. Our Bayesian oracle inequality characterizes a trade-off between the approximation error and a Bayesian characterization of the local complexity of the model, illustrating the adaptive nature of averaging-based Bayesian procedures towards achieving an optimal rate of posterior convergence. Specific applications of the model selection theory are discussed in the context of high-dimensional nonparametric regression and density regression where the regression function or the conditional density is assumed to depend on a fixed subset of predictors. As a result of independent interest, we propose a general technique for obtaining upper bounds of certain small ball probability of stationary Gaussian processes.

研究の動機と目的

• 周辺尤度が扱いにくいか、局所的二次近似を持たない場合のベイズ的モデル選択手順の頻度的一貫性を確立すること。
• 弱い識別可能性および非正規モデル下でのベイズ的モデル選択におけるオッカムの剃刀現象を形式化すること。
• 後抽樣濃度における近似誤差とモデル複雑度のトレードオフを特徴づけるための局所ベイズ的複雑度の概念を導入すること。
• 最適な後抽樣収束レートへの適応的挙動を反映するオラクル不等式を導出すること。
• 固定された予測子サブセットに依存する高次元非パラメトリック回帰および密度回帰への理論の応用。

提案手法

• 大きなモデルが真のモデルの近傍に過剰な事前確率を割り当てないよう保証するための事前分布の反集中条件を提案する。
• 真のモデルの周囲のモデル空間の局所幾何に依存するモデル複雑度の尺度として、局所ベイズ的複雑度を導入する。
• 近似誤差と局所的モデル複雑度のバランスを取るベイズ的オラクル不等式を導出し、最適な後抽樣濃度レートを導く。
• 回帰関数または条件付き密度が固定された予測子サブセットに依存する高次元非パラメトリック回帰および密度回帰に理論を適用する。
• 定常ガウス過程の小さな球確率をバインドする一般的手法を構築し、理論的分析を支援する。
• メルツァーの定理およびフーリエ級数を用いた定常カーネルの固有値および固有関数の特徴づけに、スペクトル分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 周辺尤度が扱いにくい状況下で、真のデータ生成モデルを含む最小のモデルが、標本サイズが増加するにつれて後抽樣確率が1に近づくような条件は何か？
• RQ2 弱い識別可能性および非正規モデル下でのベイズ的モデル選択において、オッカムの剃刀現象をどのように形式的に正当化できるか？
• RQ3 高次元設定において、モデル選択の一貫性を保証するために、事前分布の反集中が果たす役割は何か？
• RQ4 局所ベイズ的複雑度はどのように定義され、非正規モデルにおける後抽樣濃度のオラクル不等式の導出にどのように利用されるか？
• RQ5 提案された枠組みは、高次元非パラメトリック回帰および密度回帰において、最適な後抽樣収束レートを達成できるか？

主な発見

• 事前分布の反集中条件の下で、モデル選択の一貫性が確立され、標本サイズが増加するにつれて、最小の真のモデルの後抽樣確率が1に近づくことが示された。
• 本論文は、適切な識別可能性および事前分布の条件下で、ベイズ的モデル選択手順がオッカムの剃刀に従い、最小の真のモデルを確率1に近い確率で選択することを証明した。
• 近似誤差と局所的モデル複雑度のトレードオフを定量化する新しい局所ベイズ的複雑度の概念を導入した。
• ベイズ的オラクル不等式は、近似誤差と局所的モデル複雑度のトレードオフを特徴づけ、最適な後抽樣濃度レートをもたらす。
• 2乗指数カーネルに対しては、$ a^{-1}e^{-j^2/a^2} $ として、$ j eq 0 $ の場合に固有値が減少し、マテルンカーネルに対しては、$ a^{-1}(1 + j^2/a^2)^{-( u+1/2)} $ として、$ a $ に関する適切な条件下で固有値が減少する。
• スペクトル解析を用いて、定常ガウス過程の小さな球確率がバインドされ、後抽樣濃度の理論的発展を支援した。