[論文レビュー] Importance Sampling: Computational Complexity and Intrinsic Dimension

Sergios Agapiou, Omiros Papaspiliopoulos+2 more|arXiv (Cornell University)|Nov 19, 2015

Gaussian Processes and Bayesian Inference参考文献 3被引用数 19

ひとこと要約

本稿は、内在次元に基づいて、重要度サンプリングの計算複雑性を統一的に分析するフレームワークを導入する。提案分布とターゲット分布の差異—内在次元によって定量化される—がサンプリング効率を決定することを示し、実務家が重要度サンプリングが成功するか失敗するかを原理的かつ体系的に評価できる手法を提供する。

ABSTRACT

The basic idea of importance sampling is to use independent samples from one measure in order to approximate expectations with respect to another measure. Understanding how many samples are needed is key to understanding the computational complexity of the method, and hence to understanding when it will be effective and when it will not. It is intuitive that the size of the difference between the measure which is sampled, and the measure against which expectations are to be computed, is key to the computational complexity. An implicit challenge in many of the published works in this area is to find useful quantities which measure this difference in terms of parameters which are pertinent for the practitioner. The subject has attracted substantial interest recently from within a variety of communities. The objective of this paper is to overview and unify the resulting literature in the area by creating an overarching framework. The general setting is studied in some detail, followed by deeper development in the context of Bayesian inverse problems and filtering.

研究の動機と目的

• 分散した重要度サンプリングの文献を統一し、共通の理論的基盤を特定すること。
• 実務家が関心を持つ測定可能なパラメータの観点から、重要度サンプリングの計算複雑性を定量化すること。
• 内在次元を、サンプリング効率を予測するための主要な指標として確立すること。
• ベイズ逆問題およびフィルタリングにこのフレームワークを適用し、重要度サンプリングが広く使われている分野に応用すること。
• 重要度サンプリングが計算的に非現実的になる状況を理解する理論的根拠を提供すること。

提案手法

• 提案分布とターゲット分布の差異に基づいて、重要度サンプリングを分析する一般理論的フレームワークを提案する。
• 内在次元を確率測度間の差異を測る幾何的指標として導入する。
• Kullback-Leibler情報量および関連する情報理論的量を用いて、サンプリング複雑性を特徴付ける。
• 後方分布の幾何構造を分析することで、ベイズ逆問題にこのフレームワークを適用する。
• 同じ内在次元指標を用いて、逐次的重要度サンプリングを含むフィルタリング問題に分析を拡張する。
• 有効サンプルサイズが次元とともに指数関数的に劣化する条件を導出し、これを内在次元と関連付ける。

実験結果

リサーチクエスチョン

• RQ1 測定可能で解釈可能なパラメータの観点から、重要度サンプリングの計算複雑性はどのように定量化できるか？
• RQ2 測度の差異の内在次元が、サンプリング効率に果たす役割は何か？
• RQ3 特にベイズ逆問題およびフィルタリングにおいて、重要度サンプリングが非現実的になる状況はどのようなものか？
• RQ4 提案分布とターゲット分布の差異は、正確な推定に必要なサンプル数にどのように関係するか？
• RQ5 内在次元は、さまざまな応用分野において、重要度サンプリングのパフォーマンスを信頼性高く予測するのに役立つだろうか？

主な発見

• 重要度サンプリングの計算複雑性は、本質的に提案分布とターゲット分布の差異の内在次元によって規定される。
• 内在次元が高くなると、正確な推定に必要なサンプル数は指数関数的に増加し、結果として重要度サンプリングは非現実的になる。
• このフレームワークにより、良好に選ばれた提案分布であっても、内在次元が高いために重要度サンプリングが失敗する状況を原理的かつ体系的に評価できる。
• ベイズ逆問題においては、後方分布の内在次元が事前分布に対して高くなるほど、重要度サンプリングのスケーラビリティが制限される。
• フィルタリング問題においては、尤度と事前の組み合わせの内在次元が、時間経過に伴う有効サンプルサイズを決定づける。
• 従来のKullback-Leibler情報量だけでは性能を予測するのに不十分であり、内在次元がより情報量の多い指標を提供することが示された。