[論文レビュー] Adaptive Importance Sampling for Estimation in Structured Domains

Luis E. Ortiz, Leslie Pack Kaelbling|arXiv (Cornell University)|Jan 16, 2013

Bayesian Modeling and Causal Inference参考文献 9被引用数 34

ひとこと要約

本稿では、構造的確率的モデルにおける推定の分散を最小化するように段階的にサンプリング分布を改善する、適応的最重要度サンプリング手法を提案する。分散最小化と距離尺度に基づく最適化を用いてサンプリング分布を最適化する確率的勾配降下法を適用することで、影響図における推定精度が向上し、ベースライン手法と比較して収束が早く、分散が小さいことが示された。

ABSTRACT

Sampling is an important tool for estimating large, complex sums and integrals over high dimensional spaces. For instance, important sampling has been used as an alternative to exact methods for inference in belief networks. Ideally, we want to have a sampling distribution that provides optimal-variance estimators. In this paper, we present methods that improve the sampling distribution by systematically adapting it as we obtain information from the samples. We present a stochastic-gradient-descent method for sequentially updating the sampling distribution based on the direct minization of the variance. We also present other stochastic-gradient-descent methods based on the minimizationof typical notions of distance between the current sampling distribution and approximations of the target, optimal distribution. We finally validate and compare the different methods empirically by applying them to the problem of action evaluation in influence diagrams.

研究の動機と目的

• 信念ネットワークや影響図を含む高次元で構造的な確率的モデルにおける推定精度の向上を目的とする。
• モンテカルロ推定量の分散を最小化する最適なサンプリング分布の選定という課題に取り組む。
• 観測されたサンプルを用いて段階的にサンプリング分布を改善する適応的アルゴリズムを開発する。
• サンプリング分布の更新に用いる複数の確率的最適化基準—分散最小化と距離に基づく近似—を比較する。

提案手法

• サンプルデータに基づいて逐次的に重要度サンプリング分布を更新するため、確率的勾配降下法（SGD）を用いる。
• 勾配に基づく更新を用いて、重要度サンプリング推定量の分散を直接最小化する。
• 現在の分布と目標分布との間の発散（例：KL発散）を最小化する代替の最適化目的関数を検討する。
• 各サンプル後に完全な再推定を必要とせず、オンライン更新により提案分布を段階的に改善する。
• 構造的意思決定理論的モデルである影響図における行動評価に本手法を適用する。
• サンプルからの局所的情報を用いて勾配更新を導出し、リアルタイムでの分布適応を支援する。

実験結果

リサーチクエスチョン

• RQ1 推定中に、構造的確率的モデルにおけるサンプリング分布を体系的に改善することで、分散を低減する方法は何か？
• RQ2 分散最小化と分布距離の両基準—どちらが適応的サンプリングの性能をより高めるか？
• RQ3 確率的勾配降下法は、重要度サンプリング分布のオンライン適応に効果的に適用可能か？
• RQ4 適応的最重要度サンプリングは、固定または非適応的サンプリングと比較して、収束性および精度に優れているか？
• RQ5 複雑な意思決定モデル、たとえば影響図における適応的サンプリングの実効的性能はいかがなものか？

主な発見

• 分散最小化アプローチが、すべてのテスト設定で最も低い推定量の分散を達成し、距離に基づく代替手法を上回った。
• 適応的サンプリングは、非適応的ベースラインと比較して、より速く収束し、安定した推定に到達するのに必要なサンプル数が少なかった。
• 本手法は、影響図における行動評価タスクにおいても頑健な性能を示し、標準的最重要度サンプリングと比較して一貫した改善を示した。
• 確率的勾配更新により、各サンプル後に完全な再計算を伴わず、効率的な段階的適応が可能になった。
• 実験的結果から、分散最小化に基づくオンライン適応が、構造的領域におけるより正確で信頼性の高い推定量をもたらすことが確認された。
• 正確な推定が困難な高次元で複雑なモデルにおいて、本手法は推定誤差を効果的に低減した。