[論文レビュー] Yes, but Did It Work?: Evaluating Variational Inference

Yuling Yao, Aki Vehtari+2 more|arXiv (Cornell University)|Feb 7, 2018

Computational and Text Analysis Methods被引用数 67

ひとこと要約

この論文は変分推論の2つの診断法を提案します：PSIS（Pareto-smoothed importance sampling）を用いて結合事後分布の品質を評価し推定値を校正すること、そしてVSBC（variational simulation-based calibration）を用いてVI点推定の平均的キャリブレーションを評価すること。再パラメータ化と実用的なしきい値に関する指針も提供します。

ABSTRACT

While it's always possible to compute a variational approximation to a posterior distribution, it can be difficult to discover problems with this approximation. We propose two diagnostic algorithms to alleviate this problem. The Pareto-smoothed importance sampling (PSIS) diagnostic gives a goodness of fit measurement for joint distributions, while simultaneously improving the error in the estimate. The variational simulation-based calibration (VSBC) assesses the average performance of point estimates.

研究の動機と目的

• ELBO最適化を超えた変分近似の診断の必要性を動機づける。
• VIを評価する二つの診断を導入する：結合後分布の品質を評価するPSISと、平均的な点推定のキャリブレーションを評価するVSBC。
• 解釈、閾値、再パラメータ化に関する実践的指針を提供する。
• 代表的なベイズモデルとVI設定にわたる診断法をデモンストレーションする。

提案手法

• PSIS（Pareto-smoothed importance sampling）を提案し、Pareto尾形状パラメータkを検査してVI近似の品質を診断し、それを用いて推定値を調整する。
• PSISを診断として用い、重み付き和（式(3)の形）による期待値の安定化推定量も得られる。
• VSBC（variational simulation-based calibration）を導入し、priorからデータを生成してVI由来の点推定の平均的キャリブレーションを評価する。
• pとqの間のRényi情報量との関係と、再パラメータ化におけるkの不変性を論じる。
• PSIS診断を用いて再パラメータ化がVIを改善する場面を検討し、ADVI、階層モデル、ロジスティック/線形回帰などの一般的なVI設定での実例を示す。
• 各診断の限界とそれらの補完的性質を概説する。

実験結果

リサーチクエスチョン

• RQ1 PSIS診断により、VI後方分布q(θ)と真の後方分布p(θ|y)のデータセットに対する乖離を定量化できるか？
• RQ2 VSBC診断により、VI由来の点推定がモデルから生成されたデータ全体で平均的にキャリライズされているかを評価できるか？
• RQ3 再パラメータ化とモデル構造は、PSISとVSBCで診断されたVIの信頼性にどのように影響するか？
• RQ4 Pareto kとVSBCの結果に基づく実用的なしきい値は、信頼できるVIか、調整やMCMCが必要かをどう示すか？
• RQ5 線形、ロジスティック、階層、そして高次元モデルにおいてこれらの診断はどのように機能するか？

主な発見

• PSISはVIの品質を定量化する形状パラメータkを提供する。小さなk(<0.5)はPSIS収束の信頼性が高く、qがpに近いことを示唆する。一方で大きなk(>0.7)はVIの信頼性が低く、調整やMCMCが必要であることを警告する。
• PSIS補正推定量（滑らかな重みを用いた加重平均を介した推定量）は、単純なVIや単純なISと比較してバイアスと分散を低減し、有限サンプルの性能を改善できる。
• VSBCは、周辺キャリブレーション確率の対称性を検定することにより、VI点推定が平均的には適切に校正されていても、個々のマージンにはバイアスが存在する可能性を明らかにする。
• 再パラメータ化はVIの品質を大きく変える可能性があり、PSIS診断を用いてkを減少させて適合を改善するパラメータ化の選択を導くことができる（例：Eight-Schoolの非Centeredパラメータ化）。
• VSBCは平均的な無偏性とデータセット固有の性能を区別し、平均的に良い性能が必ずしも特定の実現での正確性を保証しないことを示唆する。
• 応用例は、線形・ロジスティック回帰、階層モデル、ホースシュー事前分布を用いた高次元がん分類などの場でPSISとVSBCを適用し、VIが成功する領域と失敗する領域、そして診断が調整にどう寄与するかを示す。