[論文レビュー] Accurate Computation of Marginal Data Densities Using Variational Bayes

Gholamreza Hajargasht, Tomasz Woźniak|arXiv (Cornell University)|May 25, 2018

Statistical Methods and Inference被引用数 4

ひとこと要約

本稿では、再帰的重要度抽出（RIS）において、変分ベイズ（VB）事後分布を重要度抽出の重みとして用いることで、尤度の周辺分布を正確かつ安定的に、計算的にも効率よく推定できる、新しい周辺データ密度推定器（MDDE）を提案する。この手法は、既存のMDDEと比較して、より低い数値的標準誤差とバイアスを達成し、無限の分散と漸近正規性を有し、重み関数の切断を回避する。

ABSTRACT

We propose a new marginal data density estimator (MDDE) that uses the variational Bayes posterior density as a weighting density of the reciprocal importance sampling (RIS) MDDE. This computationally convenient estimator is based on variational Bayes posterior densities that are available for many models and requires simulated draws only from the posterior distribution. It provides accurate estimates with a moderate number of posterior draws, has a finite variance, and provides a minimum variance candidate for the class of RIS MDDEs. Its reciprocal is consistent, asymptotically normally distributed, and unbiased. These properties are obtained without truncating the weighting density, which is typical for other such estimators. Our proposed estimators outperform many existing MDDEs in terms of bias and numerical standard errors. In particular, our RIS MDDE performs uniformly better than other estimators from this class.

研究の動機と目的

• ベイズ的モデル比較のための計算的に効率的で正確な周辺データ密度推定器（MDDE）の開発。
• 既存のMDDEの限界、例えば高いバイアス、無限の分散、切断された重み関数に依存する点の是正。
• RISに基づくMDDEに適した自然で解析的に取り扱いやすい重要度抽出密度として、変分ベイズ（VB）事後分布を活用すること。
• VBに基づくMDDEがRIS推定器の中で最小分散を達成し、一貫性と漸近正規性を維持することの証明。
• MCMCサンプリングが複雑または不可能なモデルに対してもMDDEの適用範囲を拡大すること。これには、事後分布のサンプルとVB近似のみに依存する。

提案手法

• 提案されたRIS MDDEは、VB事後密度を重要度抽出の重み関数として用い、サポートの切断を回避する。
• 推定器は、事後分布のサンプル上で、VB密度と尤度・事前分布の積の逆比の平均の逆数として定義される。
• この手法は、事後分布のサンプルとVB近似に依存しており、完全なMCMCサンプリングを必要としない。
• 理論的性質には、逆数推定器の一致性、漸近正規性、不偏性が含まれる。これらはすべて、切断なしで達成される。
• 同じVB事後分布を提案分布として用いることで、ブリッジサンプリング（BS）MDDEへの拡張が可能である。
• この手法は、平均場VBに限定されず、VB近似における因子分解仮定を必要としない。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ事後分布近似を、周辺データ密度を推定するための重要度抽出重みとして効果的に使用できるか？
• RQ2 VB事後分布を重み関数として用いることで、既存手法と比較してバイアスと数値的標準誤差が低減するMDDEが得られるか？
• RQ3 切断なしで、重み関数のサポートを維持した場合に、得られるRIS MDDEが有限の分散と漸近正規性を有するか？
• RQ4 複雑なモデルにおいて、VBベースのMDDEはChib（1995）やGeweke（1999）のベンチマーク手法と比較して、どのように性能を発揮するか？
• RQ5 VB近似が逆Kullback-Leibler発散を最小化するという最適性が、MDDEの効率性向上にどのように反映されるか？

主な発見

• VB事後密度に基づくRIS MDDEは、テストされたすべての推定器の中で最小の数値的標準誤差（NSE）を達成し、Geweke（1999）のRIS MDDEと比較して、NSEがほぼ15倍も低かった。
• VBベースのRISおよびBS MDDEは、確率的フロンティアモデルや縦断的ポisson回帰モデルなど、複数のモデルにおいて、バイアスとNSEの両面でChib（1995）のベンチマークMDDEおよび他のすべての競合手法を上回った。
• RIS MDDEの逆数は、重み関数の切断なしで、一貫性、漸近正規性、不偏性を有しており、これは先行手法と比較して顕著な利点である。
• 非標準的な事後分布計算（例：ギブス内メトロポリス・ハスティングス）を伴うモデルにおいても、VB RIS MDDEは数値的に安定かつ正確であり、他の推定器と比較してNSEが著しく低かった。
• ボックスプロットによる可視化では、他の推定器が高いばらつきを示すのに対し、VBベースの推定器は真の値の周囲にきわめて密集した推定値を示し、優れた数値的安定性を示した。
• 完全なデータ尤度が使用された場合でも、この手法は高い性能を維持しており、NSEはわずかに2倍程度に増加するにとどまり、過去の研究で報告された深刻な効率損失とは異なった。