[論文レビュー] An Efficient Sampling Algorithm for Non-smooth Composite Potentials

Wenlong Mou, Nicolas Flammarion+2 more|arXiv (Cornell University)|Oct 1, 2019

Markov Chains and Monte Carlo Methods参考文献 60被引用数 14

ひとこと要約

本稿では、$f$ が滑らかで強く凸であり、$g$ が凸かつリプシッツ連続である形 $\pi(x) \propto \exp(-f(x) - g(x))$ の非滑らか複合ポテンシャルに対する、新しいメトロポリス・ハスティングスサンプリングアルゴリズムを提案する。この手法はモアレ・ヨシダ正則化にインspiredされたプロキシマルベースの提案分布を用い、全変動距離において $O(d\log(d/\varepsilon))$ の混合時間を持つ。これは滑らかポテンシャルにおける最良の既知のレートと、条件数要因を除いて一致する。

ABSTRACT

We consider the problem of sampling from a density of the form $p(x) \propto \exp(-f(x)- g(x))$, where $f: \mathbb{R}^d ightarrow \mathbb{R}$ is a smooth and strongly convex function and $g: \mathbb{R}^d ightarrow \mathbb{R}$ is a convex and Lipschitz function. We propose a new algorithm based on the Metropolis-Hastings framework, and prove that it mixes to within TV distance $\varepsilon$ of the target density in at most $O(d \log (d/\varepsilon))$ iterations. This guarantee extends previous results on sampling from distributions with smooth log densities ($g = 0$) to the more general composite non-smooth case, with the same mixing time up to a multiple of the condition number. Our method is based on a novel proximal-based proposal distribution that can be efficiently computed for a large class of non-smooth functions $g$.

研究の動機と目的

• 非滑らか複合ポテンシャルにおけるサンプリング効率のギャップを解消し、既存手法が精度 $\varepsilon$ に対して悪い依存性と高いバイアスを示す問題に対処すること。
• 滑らか対数密度における最新の混合時間保証を、特に $g$ が凸かつリプシッツ連続である非滑らか複合ケースに拡張すること。
• 近位作用素を介して効率的に計算可能な提案分布を開発し、広範な非滑らか関数クラスにおける実装可能性を確保すること。
• 対数ソボレフおよびリプシッツ条件の下で、混合時間が $O(d\log(d/\varepsilon))$ にスケーリングすることを達成すること。これは滑らかポテンシャルにおける最良の既知のレートと一致する。

提案手法

• アルゴリズムは、モアレ・ヨシダ正則化にインspiredされた、非滑らか関数 $g$ の近位作用素を組み込んだ新しい提案分布を用いるメトロポリス・ハスティングスフレームワークに基づく。
• 提案分布は、近位点を中心とする切断されたガウス分布として構築され、効率的な計算と良好な探索特性を保証する。
• この手法は $g$ の近位オракルに依存しており、$\ell_1$-ノルムやラプラス的事前分布のような非滑らか正則化子を扱える。
• 理論的分析では、カップリングとコンductance技術を用いて、ターゲット分布への全変動距離をバインドする。
• 重要な要素として、安定性を保証するためのステップサイズ $\eta < 1/(16L)$ と、尾部挙動を制御するための切断機構が含まれる。
• 提案分布は、$f$ からの局所的勾配情報と、$g$ からの近位構造をバランスさせることで、収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非滑らか複合ポテンシャルに対して、メトロポリス・ハスティングスアルゴリズムが $O(d\log(d/\varepsilon))$ の混合時間を持つことは可能か？これは滑らかポテンシャルにおける最良の既知のレートと一致する。
• RQ2 $g$ が凸かつリプシッツ連続であっても非滑らかであっても、近位ベースの提案分布は効率的なサンプリングを可能にするか？
• RQ3 混合時間は問題の条件数にどのように依存するか？また、$O(1/\varepsilon^2)$ よりも大きな範囲で $\varepsilon$ に依存しないようにバインド可能か？
• RQ4 過小なステップサイズを必要としないことで、未調整チェインにおける高いバイアスを回避しながら、高速収束を維持できるか？
• RQ5 対数ソボレフ不等式は、非滑らか複合ターゲットにおける高速混合を保証するために果たす役割は何か？

主な発見

• 提案アルゴリズムは、全変動距離において $O(d\log(d/\varepsilon))$ の混合時間を達成し、滑らかポテンシャルにおける最良の既知のレートと一致する。
• 混合時間保証は、ターゲット分布が対数ソボレフ不等式を満たし、$g$ が $O(\sqrt{d})$-リプシッツ連続であるという仮定の下で成立する。
• アルゴリズムの性能は、滑らかケースと比較して条件数の定数倍の範囲に収まり、理論的保証におけるギャップを埋めることに成功した。
• 近位ベースの提案分布により、$\ell_1$ やラプラス的事前分布を含む広範な非滑らか関数クラスにおいて、効率的な計算が可能である。
• 先行研究で見られた $O(d/\varepsilon^2)$ の依存性を回避し、精度スケーリングを著しく改善した。
• 理論的分析により、過小なステップサイズを必要とせず、マルコフ連鎖におけるバイアスを低減しながら高速収束を維持できることを確認した。