[論文レビュー] Stein Variational Adaptive Importance Sampling

Jun Han, Qiang Liu|arXiv (Cornell University)|Apr 18, 2017

Markov Chains and Monte Carlo Methods参考文献 19被引用数 17

ひとこと要約

本稿では、非パラメトリックな適応的重要度サンプリング手法として、Stein Variational Adaptive Importance Sampling (SteinIS) を提案する。この手法は、重要度サンプリングとステイン変分勾配降下法（SVGD）を統合し、反復的に提案分布を改善する。SVGDの非パラメトリックな変換を用いて提案分布とターゲット分布間のKLダイバージェンスを最小化することで、重み付きのi.i.d. パーティクルを生成し、不偏推定量と結果の完全な解釈可能性を実現する。実験的検証により、深層生成モデルにおける正規化定数推定および対数尤度評価において、優れた収束性と効率性を示した。

ABSTRACT

We propose a novel adaptive importance sampling algorithm which incorporates Stein variational gradient decent algorithm (SVGD) with importance sampling (IS). Our algorithm leverages the nonparametric transforms in SVGD to iteratively decrease the KL divergence between our importance proposal and the target distribution. The advantages of this algorithm are twofold: first, our algorithm turns SVGD into a standard IS algorithm, allowing us to use standard diagnostic and analytic tools of IS to evaluate and interpret the results; second, we do not restrict the choice of our importance proposal to predefined distribution families like traditional (adaptive) IS methods. Empirical experiments demonstrate that our algorithm performs well on evaluating partition functions of restricted Boltzmann machines and testing likelihood of variational auto-encoders.

研究の動機と目的

• 従来の適応的重要度サンプリングの制限を解消すること。特に、制限的なパラメトリックな提案分布族に依存し、一貫性のある推定量を提供しない点。
• SVGDのパーティクルがi.i.d.でないという問題を克服すること。これは統計的解釈やバイアス・バリアンス解析を困難にする。
• 標準的な重要度サンプリングフレームワーク内でSVGDのダイナミクスを用いて、期待値および正規化定数の不偏かつ一貫性のある推定を可能にすること。
• パラメトリックな仮定を避ける柔軟な非パラメトリックな提案分布の適応手法を開発し、反復的変数変換の全表現力を活用すること。

提案手法

• 本手法は、非パラメトリックな変換によるSVGDの反復的パーティクル更新を用い、初期の提案分布をターゲット分布に近づける。
• 各反復で、現在の提案分布とターゲット分布のKLダイバージェンスを最小化する最適輸送マップを計算する。
• パーティクルは現在の提案分布からのi.i.d. サンプルとして扱い、標準的なIS診断と不偏推定量を可能にするために重みを追跡する。
• 反復ℓにおける提案分布は、初期分布をℓ個のSVGD変換の合成を通して押し出したものとして定義される。
• アルゴリズムは重み付きパーティクルの集合を維持し、各パーティクルにおけるターゲット密度と提案密度の比に基づいて重みを更新する。
• 中間結果の再利用が可能である：1000ステップから2000ステップに増やす場合、SVGDとは異なり、再計算から始めず、追加で1000ステップのみ実行すればよい。

実験結果

リサーチクエスチョン

• RQ1 SVGDを標準的な重要度サンプリングアルゴリズムとして再解釈することで、不偏推定と診断ツールの利用を可能にできるか？
• RQ2 適応的かつ非パラメトリックな提案学習の利点を保ちつつ、SVGDパーティクルの非i.i.d. 性質をどのように解消できるか？
• RQ3 SVGDに基づく非パラメトリックで適応的なIS手法は、従来の適応的IS手法に比べ、収束速度と計算効率で優れているか？
• RQ4 このような手法は、元来SVGDが自然にサポートしない非定義可能な正規化定数を一貫して推定できるか？
• RQ5 高次元設定におけるスケーリング特性は？ 並列化可能なダイナミクスを用いてさらに高速化可能か？

主な発見

• MNISTにおける対数尤度推定において、SteinISは1ステップのループフロッグを使用するHAIS-1Lよりも収束が速く、10ステップのHAIS-10Lよりもわずかに速い。
• 1000回の遷移しか使用していないにもかかわらず、SteinISはHAIS-10Lと同等またはより優れた対数尤度推定を達成し、著しく短い実行時間で実現した。
• 10個の潜在次元におけるSteinISの実行時間（224.40秒）は、HAIS-10Lの600.15秒よりも著しく短く、優れた計算効率を示した。
• SteinISは段階的計算が可能である：1000ステップから2000ステップに増やす場合、追加で1000ステップのみ実行すればよく、HAISとは異なり、再計算から始めなくてよい。
• 本手法は、制限ボルツマンマシンの正規化定数と、変分オートエンコーダの対数尤度を、一貫性があり不偏な推定量で正しく推定できた。
• 実験的結果により、SteinISは標準的なSVGDとは異なり、標準的なISツールによる完全な解釈可能性を維持しながら、高い精度を維持していることが確認された。