[論文レビュー] Complexity Results for MCMC derived from Quantitative Bounds

Jun Yang, Jeffrey S. Rosenthal|arXiv (Cornell University)|Aug 2, 2017

Markov Chains and Monte Carlo Methods参考文献 55被引用数 21

ひとこと要約

本稿では、『大きな集合』と『適合したドリフト関数族』を用いた修正されたドリフト・ミニマライゼーション法を導入し、高次元MCMCアルゴリズムのタイトな定量的収束バインディングを導出する。特定のギブスサンプラー（特にジェイムズ＝スタイン推定器に関連するもの）に対しては、特定の条件下で次元が増加しても混合時間（mixing time）が一定のままであることが示され、次元の増加に伴い劣化する従来のバインディングとは顕著な改善を示している。

ABSTRACT

This paper considers how to obtain MCMC quantitative convergence bounds which can be translated into tight complexity bounds in high-dimensional {settings}. We propose a modified drift-and-minorization approach, which establishes generalized drift conditions defined in subsets of the state space. The subsets are called the "large sets", and are chosen to rule out some "bad" states which have poor drift property when the dimension of the state space gets large. Using the "large sets" together with a "fitted family of drift functions", a quantitative bound can be obtained which can be translated into a tight complexity bound. As a demonstration, we analyze several Gibbs samplers and obtain complexity upper bounds for the mixing time. In particular, for one example of Gibbs sampler which is related to the James--Stein estimator, we show that the number of iterations required for the Gibbs sampler to converge is constant under certain conditions on the observed data and the initial state. It is our hope that this modified drift-and-minorization approach can be employed in many other specific examples to obtain complexity bounds for high-dimensional Markov chains.

研究の動機と目的

• 高次元MCMCにおける統計的収束バインディングとコンピュータサイエンス風の複雑さの結果との間のギャップを埋めること。
• 既存のドリフト・ミニマライゼーション法の限界を克服すること。これらはしばしば次元の増加に伴いバインディングが劣化する。
• 高次元マルコフ連鎖に対してタイトで次元に依存しない複雑さのバインディングを生成する手法を開発すること。
• 特に複雑な階層的構造を持つもの在内的なギブスサンプラーに対して、この手法の有効性を示すこと。
• 次元の増加に対してもMCMCの混合時間が一定のまま保たれる条件を確立すること。

提案手法

• 『大きな集合』を導入する。これは、高次元における悪いドリフト性質を示す『悪い』状態を除外するように注意深く選ばれた状態空間の部分集合である。
• 全状態空間ではなく、これらの大きな集合上で定義された一般化されたドリフト条件を提案する。
• 状態空間の異なる領域におけるドリフト行動を適応的にモデル化するために『適合したドリフト関数族』を用いる。
• 修正されたドリフト条件とミニマライゼーション条件を組み合わせ、定量的合計変動収束バインディングを確立する。
• 得られたバインディングを高次元設定における混合時間のタイトな複雑さのバインディングに翻訳する。
• 特にジェイムズ＝スタイン推定器に関連するものも含む、特定のギブスサンプラーにこのフレームワークを適用し、明示的な収束結果を導出する。

実験結果

リサーチクエスチョン

• RQ1 標準的なドリフト・ミニマライゼーション法を、高次元MCMC設定でタイトな複雑さのバインディングを導くように修正できるか？
• RQ2 なぜ既存のドリフト・ミニマライゼーションバインディングはしばしば次元の増加に伴い劣化するのか？そして、その劣化を回避するにはどうすればよいか？
• RQ3 どのような条件下で、ギブスサンプラーの混合時間が次元の増加に対しても一定のままであるか？
• RQ4 提案手法を、提示された例を超えて他の高次元MCMCアルゴリズムに体系的かつ一般化して適用できるか？
• RQ5 『大きな集合』と適合ドリフト関数の使用は、グローバルドリフト条件と比較して、収束速度の推定をどのように改善するか？

主な発見

• ジェイムズ＝スタイン推定器に関連するギブスサンプラーに対しては、データおよび初期状態に関する特定の条件下で、混合時間が次元に依存せずに一定に抑えられる。
• 大きな集合による悪い振る舞いを示す状態の除外により、修正されたドリフト・ミニマライゼーションアプローチが高次元におけるバインディングの劣化を効果的に回避した。
• 適合したドリフト関数族により、より正確で局所的なドリフト推定が可能となり、よりタイトな収束バインディングが得られた。
• この手法により、ドリフト・ミニマライゼーションフレームワークが注意深く適用されれば、非漸近的かつ次元に依存しない複雑さのバインディングを導出可能であることが示された。
• このアプローチは一般化可能であり、他のMCMCアルゴリズムに対しても、高次元設定における改善された複雑さの結果を導出するために応用可能である。
• 理論的分析により、ジェイムズ＝スタインモデルにおける分散成分のリジェクトサンプリングの受容確率がサンプルサイズとともに指数関数的に減少することが確認され、効率的なMCMC代替手法の必要性が浮き彫りになった。