[論文レビュー] Convergence of hybrid slice sampling via spectral gap

Krzysztof Łatuszyński, Daniel Rudolf|arXiv (Cornell University)|Sep 9, 2014

Markov Chains and Monte Carlo Methods参考文献 30被引用数 8

ひとこと要約

本稿は、単純スライスサンプリングのスペクトルギャップに基づき、ハイブリッドスライスサンプリングのスペクトルギャップに対する境界を導出し、ハイブリッドサンプリングの理論的収束保証を確立している。幾何的エルゴード性および正のスペクトルギャップ——高速な混合を示す重要な指標——が単純バージョンから継承されることを証明しており、正確なスライス上での一様サンプリングが不可能な複雑なターゲットに対しても、強固で効率的なサンプリングが可能である。

ABSTRACT

It is known that the simple slice sampler has robust convergence properties, however the class of problems where it can be implemented is limited. In contrast, we consider hybrid slice samplers which are easily implementable and where another Markov chain approximately samples the uniform distribution on each slice. Under appropriate assumptions on the Markov chain on the slice we show a lower bound and an upper bound of the spectral gap of the hybrid slice sampler in terms of the spectral gap of the simple slice sampler. An immediate consequence of this is that spectral gap and geometric ergodicity of the hybrid slice sampler can be concluded from spectral gap and geometric ergodicity of its simple version which is very well understood. These results indicate that robustness properties of the simple slice sampler are inherited by (appropriately designed) easily implementable hybrid versions. We apply the developed theory and analyse a number of specific algorithms such as the stepping-out shrinkage slice sampling, hit-and-run slice sampling on a class of multivariate targets and an easily implementable combination of both procedures on multidimensional bimodal densities.

研究の動機と目的

• ハイブリッドスライスサンプラーの理論的収束解析が不足しているという問題に対処すること。これは広く使われているが理論的には十分に理解されていない。
• 単純スライスサンプラーの強固な収束特性がハイブリッドバージョンに継承される条件を確立すること。
• 下位の単純スライスサンプラーのスペクトルギャップに基づき、ハイブリッドサンプラーのスペクトルギャップに対する明示的な下界および上界を提供すること。
• 単純バージョンがこれらの条件を満たす場合、ハイブリッドサンプラーにおいても幾何的エルゴード性および分散バウンディング特性が保存されることを示すこと。
• ステッピングアウトシャーリング、ヒットアンドリーン、およびマルチモーダルターゲットにおけるハイブリッド組み合わせなどの具体的なアルゴリズムで理論を検証すること。

提案手法

• 関数解析を用いて、Markov作用素のスペクトルギャップを $\text{gap}(P) = 1 - \|P\|_{L^2_0,\pi \to L^2_0,\pi}$ として定義する。ここで $L^2_0,\pi$ は平均がゼロで二階可積分な関数の空間を表す。
• 作用素ノルムの不等式およびスペクトル理論を適用し、関数空間間を写像する有界線形作用素 $R$ を介して、ハイブリッドサンプラーのスペクトルギャップを単純スライスサンプラーのスペクトルギャップと関連付ける。
• スライス上でのMarkovカーネルの作用素ノルムと単純サンプラーのスペクトルギャップを用いて、ハイブリッドチェインのスペクトルギャップに対する境界を導出する。
• スペクトルギャップを幾何的エルゴード性の代理指標として用い、正のスペクトルギャップが幾何的エルゴード性およびCLTの有効性を示す既知の結果を活用する。
• 特定のハイブリッドアルゴリズム（例：ステッピングアウトシャーリング、ヒットアンドリーン）を分析し、スライスを探索するMarkovチェインに必要な仮定を検証する。
• スライス上でのMarkovチェインが可逆的であり、ゼロから離れたスペクトルギャップを持つ場合、適切な条件下でハイブリッドサンプラーがこの性質を継承することを用いる。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドスライスサンプラーのスペクトルギャップは、対応する単純スライスサンプラーのスペクトルギャップの関数として境界づけられるか？
• RQ2 単純スライスサンプラーの幾何的エルゴード性が、そのハイブリッド版に対しても成立する条件は何か？
• RQ3 分散バウンディング特性およびCLTの有効性は、単純スライスサンプラーからハイブリッドスライスサンプラーへと継承されるか？
• RQ4 この理論的枠組みは、多変量ターゲットにおけるステッピングアウトシャーリングやヒットアンドリーンなどの具体的なハイブリッドアルゴリズムに適用可能か？
• RQ5 スペクトルギャップの境界は、ハイブリッドサンプリングにおける非漸近的収束速度にどのような定量的影響を及ぼすか？

主な発見

• ハイブリッドスライスサンプラーのスペクトルギャップは、単純スライスサンプラーのスペクトルギャップに基づき、下界および上界が保証される。これにより、良好な混合特性が維持されることが保証される。
• 単純スライスサンプラーのスペクトルギャップが正であれば、スライス上でのMarkovチェインが適切なエルゴード性および可逆性条件を満たす限り、ハイブリッドバージョンのスペクトルギャップも正である。
• 単純スライスサンプラーの幾何的エルゴード性は、ハイブリッドサンプラーに対しても成立し、全 Variation における指数的収束が保証される。
• ハイブリッドサンプラーに対して、$\|\nu P^n - \pi\|_{\text{tv}} \leq (1 - \text{gap}(P层))^n \left\| \frac{d\nu}{d\pi} - 1 \right\|_2$ の境界が成り立つ。これにより、非漸近的収束制御が可能になる。
• 標本平均に関して、分散バウンディング $\mathbb{E}\left|\frac{1}{n}\sum f(X_j) - \int f \, d\pi\right|^2 \leq \frac{2}{n \cdot \text{gap}(P)} + \cdots$ が有効であり、スペクトルギャップに明示的な依存関係がある。
• 理論はステッピングアウトシャーリング、多変量ターゲットにおけるヒットアンドリーン、およびハイブリッド二峰性サンプラーに成功裏に適用され、実際の応用において強固な収束が確認された。