[論文レビュー] Bayesian model choice and information criteria in sparse generalized linear models

Rina Foygel, Mathias Drton|arXiv (Cornell University)|Dec 23, 2011

Statistical Methods and Inference参考文献 27被引用数 55

ひとこと要約

本稿は、サンプルサイズ $ n $ と共に増加する共変数の数 $ p $ を持つ高次元かつスパースな一般化線形モデルにおいて、ベイジアンモデル選択と拡張ベイジアン情報基準（EBIC）の漸近的同等性を確立する。特定の事前分布のもとで、両手法が確率1に近づく確率で最小の真のモデルを一貫して選択することを証明し、EBICに頻度主義的根拠を提供するとともに、スパースな高次元設定におけるラプラス近似の均一な誤差バウンドを提示する。

ABSTRACT

We consider Bayesian model selection in generalized linear models that are high-dimensional, with the number of covariates p being large relative to the sample size n, but sparse in that the number of active covariates is small compared to p. Treating the covariates as random and adopting an asymptotic scenario in which p increases with n, we show that Bayesian model selection using certain priors on the set of models is asymptotically equivalent to selecting a model using an extended Bayesian information criterion. Moreover, we prove that the smallest true model is selected by either of these methods with probability tending to one. Having addressed random covariates, we are also able to give a consistency result for pseudo-likelihood approaches to high-dimensional sparse graphical modeling. Experiments on real data demonstrate good performance of the extended Bayesian information criterion for regression and for graphical models.

研究の動機と目的

• 共変数の数 $ p \gg n $ であるが、真に活性な共変数は僅かであるような高次元スパース一般化線形モデルにおけるベイジアンモデル選択の一貫性を確立すること。
• 特定の事前分布のもとで、拡張ベイジアン情報基準（EBIC）がベイジアンモデル選択と漸近的に同等であることを示すこと。
• 高次元スパースモデルにおけるマージナル尤度のラプラス近似の均一な誤差バウンドを提供すること。
• スパースな高次元グラフィカルモデル、特にイジングモデルを含む、擬似尤度アプローチへの一貫性結果の拡張。
• 回帰およびグラフィカルモデルの両方において、実データにおけるEBICの実効的性能を示すこと。

提案手法

• 共変数の数 $ p $ が $ n \to \infty $ とともに無限に増加する漸近的枠組みを用い、活性共変数のスパarsityを仮定する。
• 尤度のマージナル積分に対するラプラス近似を適用し、最尤推定値（MLE）のまわりで2次までの展開を導出する。
• すべての検討対象モデルに対して有効な、ラプラス近似の剰余項の均一なバウンドを導出する。
• 指定された事前分布のもとで、真のモデルの事後確率が1に収束することを確立する。
• 濃度不等式および行列濃度を用いて、観測値のブロックごとの対数尤度のヘッセ行列を制御する。
• チェルノフ不等式を用いて、モデルの一貫性を満たすために必要な十分な数のブロックが、モーメントおよび有界性条件を満たすことを示す。

実験結果

リサーチクエスチョン

• RQ1 高次元スパースGLMにおけるベイジアンモデル選択は、$ n \to \infty $ のとき、最小の真のモデルを確率的に一貫して特定できるか？
• RQ2 特定の事前分布のもとで、拡張ベイジアン情報基準（EBIC）はベイジアンモデル選択と漸近的に同等か？
• RQ3 高次元スパースモデルにおけるマージナル尤度のラプラス近似に対して、均一な誤差バウンドを確立できるか？
• RQ4 一貫性結果は、高次元スパースグラフィカルモデルにおける擬似尤度手法へも拡張可能か？
• RQ5 実データにおけるEBICの実効的性能は、回帰およびグラフィカルモデルの両方でどの程度高いか？

主な発見

• 指定された事前分布のもとで、ベイジアンモデル選択は $ n \to \infty $ のとき、最小の真のモデルを確率1に近づく確率で一貫して選択する。
• 拡張ベイジアン情報基準（EBIC）は、高次元スパース設定においてベイジアンモデル選択と漸近的に同等である。
• マージナル尤度のラプラス近似に対する均一な誤差バウンドが確立され、剰余項が確率的に有界であることが示された。
• ベイジアンおよびEBICの両手法において、最小の真のモデルが確率1に近づく確率で選択される。
• 実データにおける実験により、EBICが回帰およびグラフィカルモデル設定の両方で優れた性能を示した。
• 一貫性結果は、高次元スパースイジングモデルにおける擬似尤度アプローチへも拡張可能である。