[論文レビュー] Model Selection for Likelihood-free Bayesian Methods Based on Moment Conditions: Theory and Numerical Examples

Cheng Li, Wenxin Jiang|arXiv (Cornell University)|May 26, 2014

Statistical Methods and Bayesian Inference参考文献 80被引用数 8

ひとこと要約

本稿では、ベイジアン一般化モーメント法（BGMM）を用いて、尤度関数が計算不能な方法におけるベイジアンモデル選択アプローチを提案する。この手法は、準後部確率を活用して後部確率推論とMCMC計算を可能にする。理論的整合性とオラクル性を確立し、漸近的に真のモデルを特定し、真のモデルが既知であるかのように効率的かつ正規分布に従う後部分布を達成することを示している。

ABSTRACT

An important practice in statistics is to use robust likelihood-free methods, such as the estimating equations, which only require assumptions on the moments instead of specifying the full probabilistic model. We propose a Bayesian avored model selection approach for such likelihood-free methods, based on (quasi-)posterior probabilities from the Bayesian Generalized Method of Moments (BGMM). This novel concept allows us to incorporate two important advantages of a Bayesian approach: the expressiveness of posterior distributions and the convenient computational method of MCMC. Many different applications are possible, including modeling the correlated longitudinal data, the quantile regression, and the graphical models based on partial correlation. We demonstrate numerically how our method works in these applications. Under mild conditions, we show that theoretically the BGMM can achieve the posterior consistency for selecting the unknown true model, and that it possesses a Bayesian version of the oracle property, i.e. the posterior distribution for the parameter of interest is asymptotically normal and is as informative as if the true model were known. In addition, we show that the proposed quasi-posterior is valid to be interpreted as an approximate conditional distribution given a data summary.

研究の動機と目的

• 完全な尤度関数が計算不能な状況におけるベイジアンフレームワークを、尤度関数が計算不能な状況でモデル選択するためのフレームワークを構築すること。
• 完全な確率的モデルではなくモーメント制約を活用することで、縦断的、分位数的、グラフィカルなモデルなど複雑なモデルにおいても頑健な推論を可能にすること。
• データ要約に基づく条件付き分布の近似としての準後部確率の理論的妥当性を保証すること。
• ややきつい正則性条件のもとで、パラメータ推定における後部確率の整合性とオラクル性を確立すること。
• 高次元または複雑なモデルにおける後部確率推論のためのMCMCを用いた計算可能で実用的な手法を提供すること。

提案手法

• 完全な尤度関数ではなくモーメント制約から準後部確率を構築するベイジアン一般化モーメント法（BGMM）フレームワークを提案する。
• モーメント制約に基づく推定方程式を用いて、モデル比較のための準尤度関数を定義する。
• MCMC手法を用いてBGMMから導かれる準後部確率分布からのサンプリングを実施し、完全なベイジアン推論を可能にする。
• ややきつい正則性条件のもとで後部確率の整合性を導出することで、真のモデルが漸近的に選択されることを保証する。
• ベイジアンオラクル性を確立する：パラメータの目的の分布は漸近的に正規分布に従い、真のモデルが既知であるかのように最小の分散を達成する。
• データ要約に基づく条件付き分布に対する意味のある近似としての準後部確率の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 モーメント制約のみを用いて、尤度関数が計算不能な方法におけるベイジアンモデル選択アプローチを開発できるか？
• RQ2 提案されたBGMMフレームワークは、真のモデルを選び出すという意味で後部確率の整合性を達成するか？
• RQ3 BGMMの後部確率はオラクル性を有するか、すなわち真のモデルが既知であるかのように漸近的に正規分布に従い、効率的か？
• RQ4 準後部確率は、データ要約に基づく条件付き分布の有効な近似と解釈できるか？
• RQ5 本手法は縦断的データ、分位数回帰、グラフィカルモデルなどの実用的応用においてどのように性能を発揮するか？

主な発見

• BGMM手法は後部確率の整合性を達成しており、標本サイズが増加するにつれて準後部確率が真のモデルに集中する。
• 本手法はベイジアンオラクル性を示しており、目的のパラメータの後部分布は漸近的に正規分布に従い、真のモデルが既知であるかのように最小の分散を達成する。
• データ要約に基づく条件付き分布に対する近似としての準後部確率は理論的に妥当であり、一貫したベイジアン解釈を可能にする。
• 数値例では、相関のある縦断的データ、分位数回帰、部分相関に基づくグラフィカルモデルのモデリングにおいて、本手法の有効性が示されている。
• MCMC計算をサポートするため、完全な尤度関数が計算不能な複雑なモデルに対しても実用的かつ実行可能である。
• 理論的結果はややきつい正則性条件のもとで成り立つため、多様な統計的モデルへの応用可能性が高まる。