[論文レビュー] Selection of proposal distributions for generalized importance sampling estimators

Vivekananda Roy, Evangelos Evangelou|arXiv (Cornell University)|May 2, 2018

Statistical Methods and Bayesian Inference参考文献 40被引用数 3

ひとこと要約

本稿では、多ターゲット推論における安定性と効率性を向上させるために、一般化された重要度サンプリング推定量におけるプロポーザル分布の選択のための3つの手法を提案する。対称KLダイバージェンスを用いた幾何的カバレッジ基準、ミニマックス分散アプローチ、および最大エントロピー法を導入し、それぞれ分散低減とカバレッジ最適化を通じて推定量の性能を向上させる。主な推定量に対して一貫したスペクトル分散推定量を提供する。

ABSTRACT

The standard importance sampling (IS) estimator, generally does not work well in examples involving simultaneous inference on several targets as the importance weights can take arbitrarily large values making the estimator highly unstable. In such situations, alternative generalized IS estimators involving samples from multiple proposal distributions are preferred. Just like the standard IS, the success of these multiple IS estimators crucially depends on the choice of the proposal distributions. The selection of these proposal distributions is the focus of this article. We propose three methods based on (i) a geometric space filling coverage criterion, (ii) a minimax variance approach, and (iii) a maximum entropy approach. The first two methods are applicable to any multi-proposal IS estimator, whereas the third approach is described in the context of Doss's (2010) two-stage IS estimator. For the first method we propose a suitable measure of coverage based on the symmetric Kullback-Leibler divergence, while the second and third approaches use estimates of asymptotic variances of Doss's (2010) IS estimator and Geyer's (1994) reverse logistic estimator, respectively. Thus, we provide consistent spectral variance estimators for these asymptotic variances. The proposed methods for selecting proposal densities are illustrated using various detailed examples.

研究の動機と目的

• 標準的最重要度サンプリングが高分散の重みにより多ターゲット推論で不安定になる問題に対処すること。
• 推定量の性能を向上させる複数のプロポーザル分布の選択法を体系的に開発すること。
• プロポーザル選択の最適化を通じて、一般化された重要度サンプリングにおける頑健性と効率性を確保すること。
• DossのおよびGeyerの重要度サンプリング推定量の漸近分散に対する一貫した推定量を提供すること。
• 詳細な数値例を通じて、提案手法の実用的有効性を示すこと。

提案手法

• 対称Kullback-Leiblerダイバージェンスに基づく幾何的空間充填カバレッジ基準を提案し、プロポーザル分布の広がりを測定する。
• Doss（2010）の一般化されたIS推定量の漸近分散を最小化するようにプロポーザルを選び出すミニマックス分散アプローチを導入する。
• Dossの2段階IS推定量に特化した最大エントロピー法を開発し、ターゲット空間における多様性とカバレッジを促進する。
• DossのおよびGeyer（1994）の逆ロジスティックIS推定量の漸近分散に対する一貫したスペクトル分散推定量を導出する。
• これらの分散推定値を用いてプロポーザル選択をガイドし、推定量の安定性と効率性の向上を実現する。
• 数値例を用いて、提案された選択基準の性能がさまざまなシナリオにおいて検証される。

実験結果

リサーチクエスチョン

• RQ1 複数のプロポーザルを用いた一般化された重要度サンプリングにおいて、漸近分散を最小化するプロポーザル分布の選択方法は何か？
• RQ2 ターゲット空間全体にわたる頑健なサンプリングを保証するための、複数のプロポーザル分布のカバレッジの有効な測定方法は何か？
• RQ3 最大エントロピー基準は2段階一般化されたIS推定量の性能を向上させ得るか？
• RQ4 DossのおよびGeyerのIS推定量の漸近分散に対する一貫したスペクトル推定量をどのように構築できるか？
• RQ5 提案された選択手法は、多ターゲット推論における推定量の安定性と正確性をどの程度向上させるか？

主な発見

• 対称Kullback-Leiblerダイバージェンスは、複数のプロポーザル分布のカバレッジを測る信頼性の高い指標を提供し、効果的な空間充填選択を可能にする。
• ミニマックス分散アプローチにより、Dossの一般化されたIS推定量の漸近分散が著しく低減され、プロポーザル分布の設定が最適化される。
• 最大エントロピー法により、Dossの2段階ISフレームワーク内での推定量の性能が向上し、サンプルの集中を低減し多様性が促進される。
• DossのおよびGeyerのIS推定量の漸近分散に対する一貫したスペクトル推定量が成功裏に導出され、信頼性のある分散に基づく最適化が可能になる。
• 数値例により、提案手法が単純または均一なプロポーザル選択と比較して、より安定的かつ効率的な推定量をもたらすことが示された。
• カバレッジ、分散の最小化、エントロピーの最大化の組み合わせにより、複雑な多ターゲット推論問題における頑健でスケーラブルなプロポーザル選択が実現される。