[論文レビュー] Pushing the Limits of Importance Sampling through Iterative Moment Matching

Topi Paananen, Juho Piironen+2 more|arXiv (Cornell University)|Jun 20, 2019

Probabilistic and Robust Engineering Design参考文献 38被引用数 1

ひとこと要約

本稿では、複雑で解析的に扱いにくい分布における重要度サンプリングの提案分布を改善するための反復的モーメントマッチング手法を導入している。推定誤差と収束の精度が向上する。サンプルのモーメントを重要度加重モーメントと一致させることで、特に影響力のある観測値が存在する状況下でもベイズ的leave-one-out交差検証の性能が向上し、有限標本からの収束速度の推定に役立つ診断ツールも含まれる。

ABSTRACT

The accuracy of an integral approximation via Monte Carlo sampling depends on the distribution of the integrand and the existence of its moments. In importance sampling, the choice of the proposal distribution markedly affects the existence of these moments and thus the accuracy of the obtained integral approximation. In this work, we present a method for improving the proposal distribution that applies to complicated distributions which are not available in closed form. The method iteratively matches the moments of a sample from the proposal distribution to their importance weighted moments, and is applicable to both standard importance sampling and self-normalized importance sampling. We apply the method to Bayesian leave-one-out cross-validation and show that it can significantly improve the accuracy of model assessment compared to regular Monte Carlo sampling or importance sampling when there are influential observations. We also propose a diagnostic method that can estimate the convergence rate of any Monte Carlo estimator from a finite random sample.

研究の動機と目的

• 複雑で解析的に扱いにくい事後分布を取り扱う際、重要度サンプリングの収束が悪く、分散が大きいという課題に対処すること。
• 目的分布の閉形式表現が得られない状況でも動作する提案分布の最適化技術を開発すること。
• 特に影響力のある観測値が結果を歪める場合に、ベイズ的leave-one-out交差検証におけるモンテカルロ推定量の精度を向上させること。
• 有限標本から任意のモンテカルロ推定量の収束速度を推定する診断手法を提供すること。

提案手法

• 提案分布の原モーメントを、目的分布の重要度加重モーメントと一致させるように反復的に調整する。
• 複数回のモーメントマッチング更新を繰り返し行い、提案分布を段階的に目的分布に近づける。
• 標準的および自己正規化重要度サンプリングの両フレームワークにこの手法を適用し、広範な適用可能性を確保する。
• 反復的精錬プロセスを活用して推定量の分散を低減し、モーメントの存在性を向上させる。
• 有限標本1つからモンテカルロ推定量の収束速度を推定する診断手順を導入する。

実験結果

リサーチクエスチョン

• RQ1 目的分布が閉形式で得られない状況下で、どのようにして重要度サンプリングの提案分布を体系的に改善できるか？
• RQ2 反復的モーメントマッチングは、ベイズ的leave-one-out交差検証において分散を低減し、収束を改善する程度はどの程度か？
• RQ3 有限標本からモンテカルロ推定量の収束速度を推定できる診断ツールを開発できるか？
• RQ4 影響力のある観測値が存在する状況下で、提案手法は標準的モンテカルロ法や基本的重要度サンプリングと比べてどのように異なるか？

主な発見

• 反復的モーメントマッチング手法は、特に影響力のある観測値が標準推定量を歪める状況下でも、ベイズ的leave-one-out交差検証における積分近似の精度を顕著に向上させる。
• 提案分布をモーメント一致で精錬することで、重要度サンプリング推定量におけるモーメントの存在性が向上する。
• 診断ツールは、有限標本1つからモンテカルロ推定量の収束速度を成功裏に推定でき、推定量の信頼性の実用的評価を可能にする。
• 標準的モンテカルロ法や基本的重要度サンプリングと比較して、本手法は困難な事後分布状況下でもより安定的かつ正確なモデル評価を実現する。