[論文レビュー] Composite Logconcave Sampling with a Restricted Gaussian Oracle

Ruoqi Shen, Kevin Tian+1 more|arXiv (Cornell University)|Jun 10, 2020

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、$f$ が良好に条件付けられており、$g$ が凸的だが滑らかでない可能性がある形 $\pi(x) \propto \exp(-f(x) - g(x))$ の合成対数凸分布からの近似的なサンプリングのためのアルゴリズムである Composite-Sample を提示する。この手法は $g$ に対する制限付きガウスオラクルと $f+g$ の最小化点へのアクセスを活用し、$\epsilon$-精度の全変動距離に対して $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$ の実行時間で実行可能であり、従来の合成サンプリングの境界を著しく改善する。

ABSTRACT

We consider sampling from composite densities on $\mathbb{R}^d$ of the form $dπ(x) \propto \exp(-f(x) - g(x))dx$ for well-conditioned $f$ and convex (but possibly non-smooth) $g$, a family generalizing restrictions to a convex set, through the abstraction of a restricted Gaussian oracle. For $f$ with condition number $κ$, our algorithm runs in $O \left(κ^2 d \log^2 frac{κd}ε ight)$ iterations, each querying a gradient of $f$ and a restricted Gaussian oracle, to achieve total variation distance $ε$. The restricted Gaussian oracle, which draws samples from a distribution whose negative log-likelihood sums a quadratic and $g$, has been previously studied and is a natural extension of the proximal oracle used in composite optimization. Our algorithm is conceptually simple and obtains stronger provable guarantees and greater generality than existing methods for composite sampling. We conduct experiments showing our algorithm vastly improves upon the hit-and-run algorithm for sampling the restriction of a (non-diagonal) Gaussian to the positive orthant.

研究の動機と目的

• 潜在関数が良好に条件付けられた関数 $f$ と凸的で滑らかでない可能性がある関数 $g$ の和である合成対数凸分布のためのサンプリングアルゴリズムを開発すること。
• 滑らかでない成分を扱うための自然な抽象化として、制限付きガウスオラクルを導入することで、滑らかでない場合にまで対数凸サンプリングのツールキットを拡張すること。
• 非合成サンプリング手法と同等の性能を達成する実行時間保証を維持しつつ、不正確なオラクルおよび最小化点へのアクセスに対しても一般性と頑健性を保つこと。
• 制限付きガウスオラクルが合成サンプリングにおいて実用的で強力なプリミティブであることを示し、効率的で概念的に軽量な還元を可能にすること。

提案手法

• 制限付きガウスオラクルは、$\exp(-\|x - v\|^2 / (2\lambda) - g(x))$ の比例する分布からサンプリング可能であり、合成ポテンシャル下での効率的サンプリングを可能にする。
• Lyapunov関数を用いて収束を追跡する、慎重に設計された反復スキームを用いて、合成サンプリング問題を制限付きガウスサンプリングと $f$ の勾配クエリの系列に還元する。
• 時間的に変化する温度パラメータ $\alpha$ を導入し、徐々にサンプリング分布を精緻化することで、安定性と収束を確保する。
• 主な技術的要素として、局所的近傍における $f$ の二次近似を用いることで、誤差を制御したランジュバンに類似した拡散を模倣できるようにする。
• 最小化点 $x^*$ およびオラクル呼び出しにおける不正確さに対して、逆多項式誤差に対して頑健であることを示し、境界は定数因子のみに影響を受ける。
• 理論的分析は、ターゲット分布への距離の変化率をバインドするための Lyapunov 関数と微分不等式の議論に依存する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない成分 $g$ に対して制限付きガウスオラクルと $f+g$ の最小化点へのアクセスのみを用いて、合成対数凸分布のための効率的サンプリングアルゴリズムを設計できるか？
• RQ2 標準的な一次または零次オラクルと比較して、制限付きガウスオラクルは、合成問題におけるサンプリング効率と一般性の観点でどのように優れているか？
• RQ3 最小限の仮定の下で、合成対数凸サンプリングの最適な実行時間複雑度は何か？ また、非合成サンプリングの最良境界に達するか、それに近づけるか？
• RQ4 最小化点 $f+g$ の不正確な最小化および制限付きガウスオラクルの近似実装に対して、アルゴリズムはどの程度頑健か？

主な発見

• Composite-Sample アルゴリズムは、$\kappa$ を $f$ の条件数として、$\epsilon$ 全変動距離内でのサンプリングに対して $\tilde{O}(\kappa^2 d \log^2(\kappa d / \epsilon))$ の実行時間で達成する。
• アルゴリズムは、各反復あたり $f$ の勾配へのクエリと制限付きガウスオラクルへのクエリを定数回の期待値で必要とする。
• 最小化点 $x^*$ および制限付きガウスオラクルにおける逆多項式誤差に対しても、境界は定数因子のみに影響を受けるという点で頑健である。
• Lyapunov 関数を用いた微分不等式の解析により、ターゲット分布への距離の変化率がバインドされ、$\tilde{O}(\kappa^2 d)$ の実行時間境界が得られる。
• 特に $g$ が滑らかでないか構造的（例：$\ell_1$-正則化）な場合に、従来の合成サンプリング手法よりも一般性と実行時間の両面で優れている。
• $d=10$ における拒否サンプリングを用いた実証的検証により、アルゴリズムの正しさが確認され、2次元への投影ヒストограмムにおいて視覚的に一致する結果が得られた。