[論文レビュー] Entropic Independence II: Optimal Sampling and Concentration via Restricted Modified Log-Sobolev Inequalities

Nima Anari, Vishesh Jain+3 more|arXiv (Cornell University)|Nov 5, 2021

Markov Chains and Monte Carlo Methods被引用数 5

ひとこと要約

本稿では、最大次数Δに依存しない一般のグラフ上のハードコアモデルおよびイジングモデルにおけるほぼ線形時間スムージングを達成するために、制限付き修正ログソボレフ不等式を導入する。定常分布の近傍におけるエントロピー収縮とスペクトル解析を活用することで、最適な混合時間Õδ(n)ときびしい集中不等式を達成し、高次数グラフ設定における長年の未解決問題を解決する。

ABSTRACT

We introduce a framework for obtaining tight mixing times for Markov chains based on what we call restricted modified log-Sobolev inequalities. Modified log-Sobolev inequalities (MLSI) quantify the rate of relative entropy contraction for the Markov operator, and are notoriously difficult to establish. However, infinitesimally close to stationarity, entropy contraction becomes equivalent to variance contraction, a.k.a. a Poincare inequality, which is significantly easier to establish through, e.g., spectral analysis. Motivated by this observation, we study restricted modified log-Sobolev inequalities that guarantee entropy contraction not for all starting distributions, but for those in a large neighborhood of the stationary distribution. We show how to sample from the hardcore and Ising models on $n$-node graphs that have a constant $\\delta$ relative gap to the tree-uniqueness threshold, in nearly-linear time $\\widetilde O_{\\delta}(n)$. Notably, our bound does not depend on the maximum degree $\\Delta$, and is therefore optimal even for high-degree graphs. This improves on prior mixing time bounds of $\\widetilde O_{\\delta, \\Delta}(n)$ and $\\widetilde O_{\\delta}(n^2)$, established via (non-restricted) modified log-Sobolev and Poincare inequalities respectively. We further show that optimal concentration inequalities can still be achieved from the restricted form of modified log-Sobolev inequalities. To establish restricted entropy contraction, we extend the entropic independence framework of Anari, Jain, Koehler, Pham, and Vuong to the setting of distributions that are spectrally independent under a restricted set of external fields. We also develop an orthogonal trick that might be of independent interest: utilizing Bernoulli factories we show how to implement Glauber dynamics updates on high-degree graphs in $O(1)$ time, assuming standard adjacency array representation of the graph.

研究の動機と目的

• 高次数グラフにおけるGlauberダイナミクスの理論的期待とアルゴリズム的境界の間のギャップを埋める。
• 最大次数Δに依存しない、木の一意性を満たすハードコアおよびイジングモデルにおける最適なスムージング時間Õδ(n)を達成する。
• 制限付きエントロピー収縮下でのリプシッツ関数に対するきびしい集中不等式を確立する。
• 高次数グラフにおけるGlauberダイナミクスの更新を、ベルヌーイファクトリーを用いてO(1)時間で実装可能なフレームワークを開発する。
• 制限付き外部場下でのスペクトル的独立性を扱えるように、エントロピー的独立性フレームワークを拡張する。

提案手法

• 定常分布の近傍でのみエントロピー収縮を保証する制限付き修正ログソボレフ不等式を導入する。
• 定常分布に近い分布においてエントロピーと分散の収縮の同値性（ポンカラ不等式）を用いて、解析を単純化する。
• スペクトル的手法とポンカラ型の境界を用いて、ハードコアおよびイジングモデルにおける制限付きエントロピー収縮を確立する。
• ベルヌーイファクトリーを用いて、O(1)時間でGlauberダイナミクスの更新を実装する（O(1)近隣サンプリングを仮定）。
• 制限付き外部場下でのスペクトル的独立性を扱えるように、エントロピー的独立性フレームワークを拡張する。
• ヘールストの議論と輸送-エントロピー不等式を用いて、制限付きMLS Iからサブガウス型集中不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 高次数グラフにおけるハードコアモデルのGlauberダイナミクスで、Õδ(n)の混合時間を達成できるか？
• RQ2 制限付き修正ログソボレフ不等式は、グローバルな不等式に比べて、よりきついスムージングおよび集中不等式をもたらすか？
• RQ3 最大次数Δに依存しない時間で、ハードコアおよびイジングモデルからサンプリング可能か？
• RQ4 制限付きエントロピー収縮下でも、リプシッツ関数の強力な測度の集中を維持できるか？
• RQ5 ベルヌーイファクトリーを用いて、高次数グラフ上で効率的なO(1) Glauber更新を実装できるか？

主な発見

• 本稿では、nノードのグラフにおけるハードコアモデルについて、木の一意性閾値からの定数δのギャップがある場合、最大次数Δに依存しないÕδ(n)の混合時間を達成する。
• イジングモデルについても、同様に一意性閾値からのδギャップがある場合、混合時間はÕδ(n)であり、Δに依存しない。
• リプシッツ関数の最適な集中が確立され、exp(−ct²/κ²n)の形のサブガウス型尾部境界が得られる。ここでcはδにのみ依存する。
• フレームワークにより、O(1)時間で高次数グラフにおけるGlauberダイナミクスの更新が可能になる（O(1)近隣サンプリングを仮定）。
• 制限付き修正ログソボレフ不等式が、グローバルMLS Iが失敗する場合でも、最適なスムージングと集中を示すことが示された。
• 結果として、高次数グラフにおける近似線形混合時間に関する未解決問題が解決され、従来のÕδ,Δ(n)およびÕδ(n²)の境界を改善した。