[論文レビュー] Black-box Importance Sampling

Qiang Liu, Jason D. Lee|arXiv (Cornell University)|Oct 17, 2016

Statistical Methods and Inference参考文献 3被引用数 3

ひとこと要約

本稿では、提案分布の密度関数を明示的に知らなくても、任意の未知または複雑な提案分布からのサンプルに対して重要度重みを計算するブラックボックス重要度サンプリングを提案する。カーネル化されたスティーン乖離を用いて重み推定を凸二次計画問題として定式化することで、標準的ない用度サンプリングですら、正規化されていない複雑な提案分布を用いても推定精度が向上し、高次元および大規模データ環境下での頑健な推論を可能にする。

ABSTRACT

Importance sampling is widely used in machine learning and statistics, but its power is limited by the restriction of using simple proposals for which the importance weights can be tractably calculated. We address this problem by studying black-box importance sampling methods that calculate importance weights for samples generated from any unknown proposal or black-box mechanism. Our method allows us to use better and richer proposals to solve difficult problems, and (somewhat counter-intuitively) also has the additional benefit of improving the estimation accuracy beyond typical importance sampling. Both theoretical and empirical analyses are provided.

研究の動機と目的

• 従来の重要度サンプリングが取り扱いやすい提案密度を必要とし、高次元で複雑なターゲットに対しては困難であるという制限を克服すること。
• 収束していないMCMCや変分推論からのような、豊富で複雑な提案分布を、提案密度の計算を回避することで利用可能にする。
• 提案密度の情報が少ない（ない）にもかかわらず推定精度を向上させることで、モンテカルロ法における従来の常識に挑戦すること。
• 正規化されていない事後分布推定および近似推論における分散低減のための安定的かつスケーラブルで広く適用可能な手法を提供すること。

提案手法

• 重み推定を、重み付き経験測度とターゲット分布との間のカーネル化されたスティーン乖離を最小化する凸二次計画問題として定式化する。
• 再生核ヒルバート空間（RKHS）を用いて、提案密度に依存せず、ターゲット密度とサンプルにのみ依存する乖離測度を定義する。
• 重みを確率単体（非負かつ総和が1）に制約することで、負の重みや正規化されていない重みを許容する手法と比較して、安定性と解釈可能性を確保する。
• ベイズ統計および機械学習で一般的な正規化定数を必要としない、正規化されていないターゲット分布にも適用可能である。
• 標準的な二次計画法ソルバーを用いて、効率的に解ける制約付き最適化として実装される。
• 最近のスティーン乖離の進展を活用し、MCMC、変分推論、あるいはパラメータ摂動とMAP推定法といった、任意のサンプル生成メカニズムからのブラックボックス推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MCMCチェーンのような複雑なMCMCからの提案分布が未知または扱いにくい場合でも、重要度サンプリングを有効にできるか。
• RQ2 提案密度を一切使わず、サンプル情報のみを用いることで、提案密度を用いる標準的ISよりも推定精度が向上するか。
• RQ3 乖離最小化に基づくブラックボックス手法が、高次元および非正規設定下で、従来のISおよび制御変数法を上回る性能を示せるか。
• RQ4 大規模データ応用で一般的に見られる収束していないMCMCチェーンやモデル誤特定下でも、本手法の性能はどのようになるか。
• RQ5 非負性などの重み制約が、得られる推定量の安定性と精度に与える影響は何か。

主な発見

• 提案されたブラックボックス重要度サンプリングは、高次元および非正規ターゲット分布において、標準的ISおよび制御変数法よりも低い平均二乗誤差（MSE）を達成する。
• 標準正規分布の場合、本手法は最良のベースラインと同等の性能を示し、低次元では正規化されたControl Funcがわずかに優れている。
• シミュレーションおよび実世界のベイズプロビットモデルにおいて、本手法は均等重み付けよりも顕著に推定精度を向上させ、特にMCMCチェーンが短いか収束していない場合に顕著である。
• Control FuncおよびKDEの正規化されていないバージョンは実際には性能が低く、正規化されたバージョンは安定性が向上していることから、適切な重み正規化の重要性が示された。
• 小標本状況（$n < 1000$）では非負の重み（$w_i o 0$）を強制することでより良い性能が得られ、これは頑健で実用的なデフォルト選択肢であると考えられる。
• 54の特徴を持つCovtypeデータセットにおいて、スティーンおよび正規化されたControl Funcは均等重み付けおよび正規化されていない代替手法を上回り、実世界の設定におけるスケーラビリティと頑健性を示している。