[論文レビュー] Importance Sampling: Intrinsic Dimension and Computational Cost

Sergios Agapiou, Omiros Papaspiliopoulos+2 more|arXiv (Cornell University)|Nov 19, 2015

Gaussian Processes and Bayesian Inference参考文献 78被引用数 9

ひとこと要約

本稿は、ベイズ逆問題およびフィルタリングにおける重要度サンプリングの理論的理解を統一し、目標分布と提案分布のラドン＝ニコディム導来の2次モーメントから導かれる内在次元と計算コストの関係を示すフレームワークを導入する。主な貢献は、性能が状態次元やデータ次元ではなく、この内在次元に依存することを示したことにより、高次元および無限次元モデルにおけるサンプリング効率の原理的で非漸近的な測度を提供することにある。

ABSTRACT

The basic idea of importance sampling is to use independent samples from a proposal measure in order to approximate expectations with respect to a target measure. It is key to understand how many samples are required in order to guarantee accurate approximations. Intuitively, some notion of distance between the target and the proposal should determine the computational cost of the method. A major challenge is to quantify this distance in terms of parameters or statistics that are pertinent for the practitioner. The subject has attracted substantial interest from within a variety of communities. The objective of this paper is to overview and unify the resulting literature by creating an overarching framework. A general theory is presented, with a focus on the use of importance sampling in Bayesian inverse problems and filtering.

研究の動機と目的

• 計算コストに関する多様な文献を統一するため、一貫した理論的枠組みを確立すること。
• 高次元ベイズ推論におけるサンプリング効率の主要因としての内在次元を特定すること。
• 事前分布を提案分布として用いる場合、線形逆問題およびフィルタリングにおける重要度サンプリングを分析すること。
• 標準的提案と最適提案の両者を、内在次元および2次モーメントの観点から粒子フィルタリングにおいて比較すること。
• 全変動距離およびカイ二乗発散を用いて、粒子近似誤差の非漸近的で数学的に厳密な分析を提供すること。

提案手法

• 確率測度μ（目標）およびπ（提案）を用いた一般化された抽象的設定において重要度サンプリングを形式化し、dμ/dπ = g(u)/∫g(u)dπ(u) を満たす。
• μとπ間のカイ二乗発散に等価な性能パラメータρ = π(g²)/π(g)²を定義する。
• ガウス事前分布および加法的ガウスノイズを伴うベイズ線形逆問題にこのフレームワークを適用する。
• 積空間上での状態遷移(v_j, v_{j+1})のモデル化を通じて、線形フィルタリング問題への分析を拡張する。
• 無限次元極限における共分散作用素のトレースを用いて内在次元を導出し、絶対連続性および検出可能性／安定化可能性と結びつける。
• 非漸近的集中不等式を用いて、粒子近似の全変動誤差を評価する。

実験結果

リサーチクエスチョン

• RQ1 重要度サンプリングの計算コストは、測定可能で解釈可能なパラメータの観点からどのように定量化できるか？
• RQ2 尤度比の2次モーメントによって定義される内在次元は、サンプリング効率を決定づける役割を果たすか？
• RQ3 粒子フィルタリングにおける標準的提案と最適提案は、内在次元および計算コストの観点からどのように比較できるか？
• RQ4 フィルタリング分布の定常状態における挙動は、内在次元および計算コストにどのような影響を及えるか？
• RQ5 線形化を用いることで、非線形または非ガウスモデルに対しても内在次元を意味的に拡張可能か？

主な発見

• 重要度サンプリングの計算コストは、環境的状態次元やデータ次元ではなく、内在次元に支配される。
• ρ = π(g²)/π(g)²というパラメータは、カイ二乗発散に等しく、性能の中心的測度として機能し、必要なサンプル数を決定づける。
• 線形逆問題において、内在次元は共分散作用素のトレースに一致し、データから学習される有効自由度の数を定量化する。
• フィルタリングにおいて、定常状態での初期化と任意の初期条件では、内在次元が異なり、それにより計算コストも異なる。
• 粒子フィルタリングにおける最適提案は、標準的提案よりも低い内在次元を示し、より優れたサンプリング効率を示す。
• 内在次元は、事前分布が有限次元多様体上に集中していることとは等価ではない。それは、事前分布と尤度のバランスが事後分布を形成するのを反映している。