[論文レビュー] On the use of bootstrap with variational inference: Theory, interpretation, and a two-sample test example

Yen‐Chi Chen, Y. Samuel Wang+1 more|arXiv (Cornell University)|Nov 29, 2017

Statistical Methods and Inference参考文献 45被引用数 5

ひとこと要約

本稿は、潜在変数モデルにおけるパrameter推定値の不確実性を定量化するためのブートストラップリサンプリングの理論的基盤を構築する。固定次元および増加次元設定の両方において、漸近正規性とブートストラップの一致性を確立し、とくに分散推定子が一貫しない場合に、漸近的近似よりも優れた信頼区間の被覆性を示している。

ABSTRACT

Variational inference is a general approach for approximating complex density functions, such as those arising in latent variable models, popular in machine learning. It has been applied to approximate the maximum likelihood estimator and to carry out Bayesian inference, however, quantification of uncertainty with variational inference remains challenging from both theoretical and practical perspectives. This paper is concerned with developing uncertainty measures for variational inference by using bootstrap procedures. We first develop two general bootstrap approaches for assessing the uncertainty of a variational estimate and the study the underlying bootstrap theory in both fixed- and increasing-dimension settings. We then use the bootstrap approach and our theoretical results in the context of mixed membership modeling with multivariate binary data on functional disability from the National Long Term Care Survey. We carry out a two-sample approach to test for changes in the repeated measures of functional disability for the subset of individuals present in 1989 and 1994 waves.

研究の動機と目的

• 標準的な漸近的分散推定がしばしば不実行的または一貫しない、変分ベイズにおける不確実性定量化の課題に対処すること。
• 一貫した分散推定子が利用できない状況において、信頼区間を構築するための堅牢な代替手法として、ブートストラップ手順の開発と正当化を行うこと。
• 固定次元および増加次元の漸近的設定の両方において、ブートストラップに基づく推論の理論的妥当性を確立すること。
• 国立長期介護調査（NLTCS）の機能的障害データを用いて、実世界の二標本検定設定における手法の適用を示すこと。
• 複雑な潜在変数モデルにおける不確実性定量化のための、機械学習および統計学の分野に一般に適用可能なフレームワークを提供すること。

提案手法

• 観測データに対するノンパラメトリックブートストラップと、変分近似に基づくパラメトリックブートストラップの2つのアプローチを提案する。
• 正則性条件の下で、変分推定子の漸近正規性を導出する。これは、古典的な中心極限定理を変分設定に拡張するものである。
• ブートストラップの一貫性を確立する。具体的には、ブートストラップ統計量の条件付き分布が、推定子の真の標本分布に収束することを示す。
• 高次元設定における、経験的共分散推定子と真の共分散推定子の乖離を制御するために、行列ベルンシュタイン不等式を用いる。
• 多変量ベルヌーイモデルにおける繰り返し測定の混合メンバー構造のパラメータに差が生じるかを検定する二標本検定にブートストラップを適用する。
• 国立長期介護調査（NLTCS）の機能的障害データを用いて、手法の妥当性を検証した。ここでは、変分ベイズが繰り返し測定に伴う潜在的混合メンバー構造をモデル化するために用いられている。

実験結果

リサーチクエスチョン

• RQ1 一貫した分散推定子が利用できない状況において、ブートストラップ手順が変分ベイズにおける有効な不確実性定量化を提供できるか。
• RQ2 固定次元および増加次元設定において、変分推定子のブートストラップ分布が真の標本分布に収束する理論的条件は何か。
• RQ3 ブートストラップに基づく信頼区間は、漸近的区間と比較して被覆精度においてどのように異なるか。
• RQ4 変分ベイズにおけるブートストラップ一貫性の理論的導出において、ELBO（下界の証拠）の役割は何か。
• RQ5 混合メンバー構造を有する多変量ベルヌーイデータを扱うような、複雑で高次元なモデルに対しても、ブートストラップ手法は効果的に適用可能か。

主な発見

• ブートストラップ手法は、分散推定子が一貫しない場合に特に顕著に、漸近的正規近似よりも高次の被覆精度を達成する。
• 理論的分析により、正則性条件の下で、変分推定子のブートストラップ分布が真の標本分布に分布収束することが示された。
• 増加次元設定では、次元が標本サイズに従って制御された割合で増加する限り、ブートストラップは有効である。この場合の境界は、行列集中不等式を用いて導出された。
• NLTCSデータ解析を通じて、有限標本においてブートストラップに基づく信頼区間が漸近的区間よりも優れた経験的被覆性を示した。
• モデルの誤指定に対しても頑健であり、真の漸近的分散が一貫して推定しづらい状況でも良好に機能した。
• 理論的結果は、シミュレーションおよび実データ応用によって裏付けられており、変分ベイズにおけるブートストラップの実用的有用性が示された。