[論文レビュー] Sampling normalizing constants in high dimensions using inhomogeneous diffusions

Christophe Andrieu, James Ridgway+1 more|Bristol Research (University of Bristol)|Dec 22, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用数 4

ひとこと要約

本稿は、高次元ベイズ推論における正規化定数の推定のための新規手法を提案する。非一様拡散を用い、$d \to \infty$ の設定において非漸近的分散およびバイアスの上限と中心極限定理を確立する。この手法は、強い対数凸ポテンシャルを有する時間非一様な過減衰ランジュバン拡散に依存し、離散化されたバージョンがフラクチュエーション特性を継承することを示す。計算コストは次元 $d$ に対して多項式的に増加し、高次元における信頼性の高い重要度サンプリングを可能にする。

ABSTRACT

Motivated by the task of computing normalizing constants and importance sampling in high dimensions, we study the dimension dependence of fluctuations for additive functionals of time-inhomogeneous Langevin-type diffusions on $\mathbb{R}^{d}$. The main results are nonasymptotic variance and bias bounds, and a central limit theorem in the $d o\infty$ regime. We demonstrate that a temporal discretization inherits the fluctuation properties of the underlying diffusion, which are controlled at a computational cost growing at most polynomially with $d$. The key steps include establishing Poincaré inequalities for time-marginal distributions of the diffusion and nonasymptotic bounds on deviation from Gaussianity in a martingale central limit theorem.

研究の動機と目的

• 高次元ベイズモデルにおける正規化定数の推定のための計算的に効率的な手法の開発。
• 時間非一様拡散の加法的関数へのフラクチュエーションの次元依存性の分析。
• 時間非一様拡散を用いた正規化定数のサンプリングにおける非漸近的分散およびバイアスの上限の確立。
• 拡散過程における高次元極限 $d \to \infty$ における中心極限定理の証明。
• 時間離散化によって生じる誤差を特定し、$d$ が増加しても制御可能であることを保証すること。

提案手法

• 時間依存ポテンシャル $U_t(x)$ を持つ $\mathbb{R}^d$ 上の時間非一様過減衰ランジュバン拡散を用い、ターゲット測度 $\pi_t$ の強い対数凸性を保証する。
• 拡散の時間周辺分布に対するピクネール不等式を適用し、加法的関数への分散およびバイアスを制御する。
• 拡散過程におけるマルティンググ・中心極限定理におけるガウス性からの逸脱の非漸近的バウンドを導出する。
• ステップサイズ $h$ を持つ時間離散化スキームを構築し、スケルトン過程 $\tilde{X}_{kh}^{\epsilon,h}$ を離散時刻でシミュレートする。
• 連続プロセスと離散化プロセス間の全変動距離をバウンドすることで離散化誤差を制御し、$O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$ であることを示す。
• マルティングル近似技術を用いて、拡散過程における中心極限定理の収束速度に関する定量的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 非一様拡散の加法的関数の分散およびバイアスは、次元 $d$ に対してどのようにスケーリングされるか？
• RQ2 高次元極限 $d \to \infty$ における拡散過程に対して中心極限定理を確立できるか？
• RQ3 時間離散化が拡散のフラクチュエーション特性に与える影響は何か？また、その誤差は次元に一様にバウンド可能か？
• RQ4 この手法の計算コストは次元にどのように依存し、$d$ に対して多項式的であるかを保証できるか？
• RQ5 この手法は、ロジスティック回帰のような高次元モデルにおける正規化定数の信頼性のある推定に使用可能か？

主な発見

• 非一様拡散の加法的関数に対する非漸近的分散およびバイアスのバウンドが導出され、強い対数凸性のもとで次元とともに減少することが示された。
• 高次元極限 $d \to \infty$ における中心極限定理が確立され、ガウス性からの逸脱のバウンドを用いて収束速度が定量的に評価された。
• 離散化プロセスは連続拡散のフラクチュエーション特性を継承し、全変動距離誤差が $O\left(\frac{h}{\epsilon^2}d^{4q+1}\right)$ でバウンドされた。
• この手法の計算コストは $d$ に対して高々多項式的に増加し、高次元問題に対して実用的である。
• ロジスティック回帰において、誤差の次元依存性の減少が観察され、分散およびバイアスのバウンドが $d$ に対して多項式的に増加することが示された。
• この手法により、標準的インポートランスサンプリングで見られる指数的劣化を回避し、高次元における正規化定数の信頼性の高いインポートランスサンプリングが可能になった。