[論文レビュー] Statistical Estimation of the Poincar{é} constant and Application to Sampling Multimodal Distributions

Loucas Pillaud‐Vivien, Francis Bach+3 more|arXiv (Cornell University)|Oct 28, 2019

Markov Chains and Monte Carlo Methods参考文献 30被引用数 5

ひとこと要約

本稿では、サンプルからPoincaré定数を推定するカーネルベースの手法を提案し、多次元混合分布におけるサンプリングを加速するために、低次元の「サンプリングが困難な方向」を特定することを可能にする。このアプローチは、Fokker-Planck作用素の固有値特性を活用して、重要度サンプリングによる収束を改善する反応座標を同定する。理論的および実験的妥当性は、合成データ上で確認されている。

ABSTRACT

Poincar{é} inequalities are ubiquitous in probability and analysis and have various applications in statistics (concentration of measure, rate of convergence of Markov chains). The Poincar{é} constant, for which the inequality is tight, is related to the typical convergence rate of diffusions to their equilibrium measure. In this paper, we show both theoretically and experimentally that, given sufficiently many samples of a measure, we can estimate its Poincar{é} constant. As a by-product of the estimation of the Poincar{é} constant, we derive an algorithm that captures a low dimensional representation of the data by finding directions which are difficult to sample. These directions are of crucial importance for sampling or in fields like molecular dynamics, where they are called reaction coordinates. Their knowledge can leverage, with a simple conditioning step, computational bottlenecks by using importance sampling techniques.

研究の動機と目的

• 有限のサンプルから確率測度のPoincaré定数を推定し、Langevin動的の収束速度を定量化すること。
• 多次元混合分布における混合が最も遅い方向に対応する低次元の射影（反応座標）を同定すること。
• Poincaré定数がサンプリングのボトルネックに敏感であることに着目し、データ駆動型の有効な重要度サンプリングスキームを構築する手法を開発すること。
• ベイズ推論や分子動力学における高次元で多次元的な事後分布にスケーラブルな理論的裏付けを持つカーネルベースのアルゴリズムを提供すること。

提案手法

• サンプルの共分散および勾配統計量に基づいて導出されたカーネルベースの経験的推定器を用いて、Poincaré定数を推定する。
• 正則化を含むカーネル行列を用いた一般化固有値問題として推定を定式化し、解の安定化を図る。
• 射影の最適化により、Poincaré定数が最大となる方向を特定し、サンプリングが最も困難な方向を同定する。
• 同定された反応座標を用いて目的測度を条件づけ、効率的な重要度サンプリングを可能にし、収束を加速する。
• エルミート多項式およびMehlerの公式を活用して、推定誤差および収束速度の理論的境界を導出する。
• 合成された多次元混合分布にこの手法を適用し、反応座標の検出能力およびサンプリング効率の向上を実証する。

実験結果

リサーチクエスチョン

• RQ1 確率測度の独立同一な有限サンプルからPoincaré定数を一貫して推定できるか？
• RQ2 高次元分布のどの低次元射影が、混合が最も遅い方向（つまり、サンプリングが最も困難な方向）に対応するか？
• RQ3 推定されたPoincaré定数をどのように活用して、有効な反応座標を構築するか？
• RQ4 カーネルベースのPoincaré定数推定器の収束速度について、どのような理論的保証を提供できるか？
• RQ5 本手法は、ヒューリスティックまたは物理的根拠に基づく反応座標の選択に比べて、多次元事後分布のサンプリングをどれほど効率的に加速できるか？

主な発見

• Poincaré定数は、弱い正則性条件の下で理論的収束保証を伴うカーネルベースの手法により、有限サンプルから一貫して推定可能である。
• 本手法は、合成された多次元混合分布において、混合が最も遅い方向に対応する低次元の反応座標を効果的に同定した。
• Poincaré定数が最大となる射影は、主要なサンプリングボトルネックを捉えており、重要度サンプリングにより著しく収束を加速できることが示された。
• 理論的分析により、推定誤差はサンプルサイズに従って減少し、Langevin動的の収束速度は推定されたPoincaré定数と密接に関連していることがわかった。
• 実験的結果により、高次元で多次元的な設定において、同定された反応座標に条件づけることで、サンプリング効率が数個のオーダー向上することが示された。
• 従来のスペクトル手法が次元の呪いにより失敗する高次元問題においても、本手法は頑健な性能を発揮した。