[論文レビュー] Establishing consistency and improving uncertainty estimates of variational inference through M-estimation

Ted Westling, Tyler H. McCormick|arXiv (Cornell University)|Oct 28, 2015

Bayesian Methods and Mixture Models参考文献 22被引用数 11

ひとこと要約

この論文は、i.i.d. 混合モデルにおける変分ベイズ推定（VI）の一貫性を確立し、不確実性推定を改善するために、VIをM推定量理論に結びつける。これは、モデル不適合の下でも有効な信頼領域や仮説検定が可能となる、サンドイッチ漸近共分散行列と一貫した推定量を導出する。特に、ガウス型変分近似（GVA）に対して明示的な結果が得られる。

ABSTRACT

Variational inference (VI) is gaining popularity as a scalable estimation procedure for latent variable models. VI often empirically achieves similar predictive performance to slower, exact alternatives, but less is known about the viability of VI in contexts where parameter estimation and model interpretation are the primary goals. In this paper we connect VI for independent, identically distributed (IID) mixture models to M-estimation. We leverage extensive results about M-estimators from statistical theory to provide general conditions for consistency and asymptotic normality of VI point estimators. We also derive a sandwich asymptotic covariance matrix and a consistent estimator thereof. Our estimated covariance can be used to construct valid confidence regions and tests and is robust to model misspecification. We provide more specific conditions for the Gaussian Variational Approximation (GVA), which has been implemented in broad generality in the open-source software Stan. We conduct a thorough simulation study demonstrating our derived covariance matrix under correct and misspecified models and apply our methods to estimate a mixed effects logistic regression using data from the National Longitudinal Study of Adolescent Health.

研究の動機と目的

• パrameter推定およびモデル解釈の文脈における変分ベイズ推定の理論的保証の欠如に対処すること。
• i.i.d. 混合モデルにおけるVI点推定量の一致性および漸近正規性の一般条件を確立すること。
• モデル不適合下でも有効な不確実性推定を可能にする、ロバストなサンドイッチ漸近共分散行列を導出すること。
• 有効な信頼領域や仮説検定を構築するための共分散行列の一貫した推定量を提供すること。
• Stanで広く使われているガウス型変分近似（GVA）に結果を特化し、実装可能性を高めること。

提案手法

• i.i.d. 混合モデルにおける変分ベイズ推定をM推定量理論に接続し、既存の漸近的結果を活用する。
• M推定量理論を用いて、VI推定量の一致性および漸近正規性の一般条件を導出する。
• VI推定量の不確実性を測定するため、サンドイッチ漸近共分散行列を構築する。
• モデル不適合下でも有効なまま維持される、サンドイッチ共分散行列の一貫した推定量を提案する。
• GVAにこのフレームワークを適用し、Stanにおける実装を可能にする。
• シミュレーションスタディおよび混合効果ロジスティック回帰への実世界応用を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 混合モデルにおいて、変分ベイズ推定量がどのような条件下で一貫性と漸近正規性を示すか。
• RQ2 モデル不適合下でも有効な推定が可能となる、VI推定量のためのロバストなサンドイッチ共分散行列を導出できるか。
• RQ3 有限標本下で、正しいモデルと不適合モデルの両方において、提案された不確実性推定量はどのように性能を発揮するか。
• RQ4 ガウス型変分近似（GVA）における一致性および漸近正規性の具体的な正則性条件は何か。
• RQ5 導出された不確実性推定値は、例えば混合効果ロジスティック回帰のような実世界データに効果的に応用可能か。

主な発見

• 本論文は、i.i.d. 混合モデルにおける変分ベイズ推定量が一貫性および漸近正規性を示す一般条件を確立した。
• モデル不適合下でもロバストな分散推定が可能な、VI推定量のためのサンドイッチ漸近共分散行列が導出された。
• サンドイッチ共分散行列の一貫した推定量が提案され、有効な信頼領域や仮説検定が可能となった。
• シミュレーションスタディにより、正しいモデルおよび不適合モデルの両方において、不確実性推定値のロバスト性が確認された。
• 本手法は、アドオレッセント健康長期縦断調査データを用いた混合効果ロジスティック回帰の推定に成功して適用された。
• 結果から、GVAフレームワークが理論的根拠と実証的妥当性を兼ね備えた信頼できる推定を可能にすることが示された。