[論文レビュー] Tree pyramidal adaptive importance sampling

Javier Felip, Nilesh Ahuja+1 more|arXiv (Cornell University)|Dec 18, 2019

Bayesian Methods and Mixture Models参考文献 26被引用数 4

ひとこと要約

本稿では、部分空間ごとに段階的な木ピラミッド構造を用いて提案分布を段階的に改善する、パラメータフリーでいつでも停止可能な重要度サンプリング手法であるTree-Pyramidal Adaptive Importance Sampling (TP-AIS) を提案する。繰り返し高密度領域を分割し、すべての重み付きサンプルを保持することで、DM-PMC や M-PMC や LAIS といった最先端手法と比較して、特に低次元から中次元の問題において、優れたサンプリング効率と高い正規化有効サンプル数（N-ESS）を達成する。

ABSTRACT

This paper introduces Tree-Pyramidal Adaptive Importance Sampling (TP-AIS), a novel iterated sampling method that outperforms state-of-the-art approaches like deterministic mixture population Monte Carlo (DM-PMC), mixture population Monte Carlo (M-PMC) and layered adaptive importance sampling (LAIS). TP-AIS iteratively builds a proposal distribution parameterized by a tree pyramid, where each tree leaf spans a subspace that represents its importance density. After each new sample operation, a set of tree leaves are subdivided for improving the approximation of the proposal distribution to the target density. Unlike the rest of the methods in the literature, TP-AIS is parameter free and requires no tuning to achieve its best performance. We evaluate TP-AIS with different complexity randomized target probability density functions (PDF) and also analyze its application to different dimensions. The results are compared to state-of-the-art iterative importance sampling approaches and other baseline MCMC approaches using Normalized Effective Sample Size (N-ESS), Jensen-Shannon Divergence, and time complexity.

研究の動機と目的

• 不適切な提案分布による重要度サンプリングのサンプリング効率の低さという課題に対処する。
• 既存の適応的 IS 手法におけるパrameter の手動チューニングの必要性を克服し、性能と使いやすさの制限を軽減する。
• バーンインや混合の問題がなく、計算時間と近似精度のトレードオフをとる「いつでも停止可能」なサンプリングを実現する。
• MCMC や IS のベースラインと比較して、低次元から中次元の事後分布において、サンプル効率と近似精度を向上させる。
• 階層的空間分割を通じて高品質な提案分布を維持する、スケーラブルで並列化可能なサンプリングフレームワークを構築する。

提案手法

• 各リーフが K 次元の部分空間と関連付けられた重要度密度を持つ木ピラミッドを用いて、提案分布をパrameter化する。
• サンプル密度と重要度重みに基づいて、木のリーフを繰り返し分割することで、時間経過とともに提案分布を改善する。
• 高確率領域に多くのサンプルを割り当て、低確率領域には少ないサンプルを割り当てる、階層的で適応的な細分化戦略を採用する。
• すべてのサンプルとその重みを保持することで、並列サンプリングと情報損失なしの anytime 停止を可能にする。
• 木ピラミッドの構造を活用して、ネストされた部分空間間で提案密度を効率的に計算・更新する。
• 適応のためのハイパーパrameter やチューニング、カーネル選択の必要がないため、パラメータフリーであることを保証する。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーで適応的な重要度サンプリング手法は、最先端の IS や MCMC 手法よりも高いサンプリング効率を達成できるか？
• RQ2 さまざまなターゲット分布と次元において、TP-AIS は正規化有効サンプル数（N-ESS）とジェンセン・ショーンラー・ダイバージェンス（JSD）の観点でどの程度の性能を示すか？
• RQ3 TP-AIS の anytime 性能が、計算時間と近似精度の実用的トレードオフをどの程度可能にするか？
• RQ4 MCMC や他の IS 手法と比較して、TP-AIS は次元の増加に伴いどの程度スケーリングするか？
• RQ5 高次元設定における TP-AIS の限界は何か？また、高次元のターゲット密度下で、時間計算量の観点から MCMC と比較してどうなるか？

主な発見

• 1D ガウス・ミックス・モデルにおいて、100 個のサンプルで DM-PMC や M-PMC や LAIS が 1000 個のサンプルを用いる場合を上回る、顕著に高い正規化有効サンプル数（N-ESS）を達成する。
• より高次元の問題（例：9D）においても、TP-AIS は高いサンプリング効率を維持するが、MCMC-Metropolis-Hastings は高次元集中のため、低採択率と指数関数的時間増加に苦しむ。
• より複雑な提案構造を有するが、妥当な数のサンプルに対してはベースライン手法と同等の時間計算量を示す。
• TP-AIS は、競合手法と比較して低いジェンセン・ショーンラー・ダイバージェンス（JSD）を達成しており、ターゲット事後分布の近似精度が優れていることを示している。
• パラメータフリー設計によりチューニングの必要がなく、ドメイン特化の設定なしに一貫した高い性能を発揮する。
• anytime 性能により、いつでもサンプリングプロセスを停止可能であり、リアルタイムやリソース制限のある推論アプリケーションに適している。