[論文レビュー] Theoretical guarantees for approximate sampling from a smooth and log-concave distribution

Arnak S. Dalalyan|arXiv (Cornell University)|Dec 23, 2014

Markov Chains and Monte Carlo Methods被引用数 3

ひとこと要約

本稿は、滑らかで対数凸性を満たす分布からの近似的なサンプリングに、ランジュバン・モンテカルロ法およびその変種を用いた非漸近的理論的保証を提供する。連続時間の拡散過程からの洞察を用いて、分布距離の観点から誤差バウンドを確立し、高次元設定における厳密な性能保証を提示する。

ABSTRACT

Sampling from various kinds of distributions is an issue of paramount importance in statistics since it is often the key ingredient for constructing estimators, test procedures or confidence intervals. In many situations, the exact sampling from a given distribution is impossible or computationally expensive and, therefore, one needs to resort to approximate sampling strategies. However, there is no well-developed theory providing meaningful nonasymptotic guarantees for the approximate sampling procedures, especially in the high-dimensional problems. This paper makes some progress in this direction by considering the problem of sampling from a distribution having a smooth and log-concave density defined on \(\RR^p\), for some integer \(p>0\). We establish nonasymptotic bounds for the error of approximating the target distribution by the one obtained by the Langevin Monte Carlo method and its variants. We illustrate the effectiveness of the established guarantees with various experiments. Underlying our analysis are insights from the theory of continuous-time diffusion processes, which may be of interest beyond the framework of log-concave densities considered in the present work.

研究の動機と目的

• 高次元設定における近的サンプリング手法に対する非漸近的理論的保証の欠如を解消すること。
• R^p 上の滑らかで対数凸性を満たす密度関数からのサンプリングにおいて、ランジュバン・モンテカルロ法の厳密な誤差バウンドを提供すること。
• 高次元確率および統計における実用的サンプリングアルゴリズムと形式的理論的分析の間のギャップを埋めること。
• 厳密に対数凸性を満たさない密度関数へも、拡散過程理論の適用範囲を非漸近的解析にまで拡張すること。

提案手法

• 連続時間の拡散過程の道具を用いて、ランジュバン・モンテカルロアルゴリズムの収束性を導出する。
• 密度関数の滑らかさと対数凸性を用いて、目的分布と近似的なサンプリング分布との間の非漸近的誤差バウンドを導出する。
• 標準的および変種形式のランジュバン・モンテカルロアルゴリズムを両方検討し、離散化効果も含む。
• 正則性条件の下で、分布距離（例えば全変動距離やワサーライン距離）を用いて誤差を測定する。
• カップリングの議論と確率微分方程式の近似を用いて理論的バウンドを確立する。
• 理論的バウンドの実用的妥当性を、理論的バウンドと観測された収束率との良好な一致を示す数値実験を通じて検証する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで対数凸性を満たす分布からのサンプリングにおいて、ランジュバン・モンテカルロ法にどのような非漸近的誤差バウンドを確立できるか？
• RQ2 高次元において、離散化とサンプリング近似は、目的分布への収束にどのように影響するか？
• RQ3 連続時間の拡散過程理論は、離散時間サンプリングアルゴリズムの解析にどの程度有用か？
• RQ4 提案されたフレームワークを、厳密に対数凸性を満たさない密度関数へも拡張可能か？

主な発見

• 本稿は、分布距離を用いて、目的分布とランジュバン・モンテカルロ法の出力との間の非漸近的誤差バウンドを確立した。
• 誤差バウンドは、目的密度関数の滑らかさと対数凸性に依存し、次元pと離散化ステップサイズに明示的な依存関係を示す。
• 連続時間の拡散過程の洞察を用いて理論的保証を導出し、サンプリングアルゴリズムの新たな解析的手法を提供した。
• 数値実験により理論的バウンドの有効性が確認され、予測された収束率と観測された収束率との間に良好な一致が示された。