[論文レビュー] Entropic Independence in High-Dimensional Expanders: Modified Log-Sobolev Inequalities for Fractionally Log-Concave Polynomials and the Ising Model.

Nima Anari, Vishesh Jain+3 more|arXiv (Cornell University)|Jun 8, 2021

Markov Chains and Monte Carlo Methods参考文献 15被引用数 10

ひとこと要約

本稿では、純粋な単体的複体上の分布におけるエントロピーを用いた分散の一般化として、エントロピー的独立性—という新しい概念を導入する。この概念は、生成多項式の分数的対数凸性と同値であり、タイトな修正対数ソボレフ不等式の確立に寄与し、作用素ノルムが1未満であるイジングモデルにおけるグルーバー動的過程の混合時間として $O(n\log n)$ を示した。これは従来の二次的境界を改善するものである。

ABSTRACT

We introduce a notion called entropic independence for distributions $\mu$ defined on pure simplicial complexes, i.e., subsets of size $k$ of a ground set of elements. Informally, we call a background measure $\mu$ entropically independent if for any (possibly randomly chosen) set $S$, the relative entropy of an element of $S$ drawn uniformly at random carries at most $O(1/k)$ fraction of the relative entropy of $S$, a constant multiple of its ``share of entropy.'' Entropic independence is the natural analog of spectral independence, another recently established notion, if one replaces variance by entropy. In our main result, we show that $\mu$ is entropically independent exactly when a transformed version of the generating polynomial of $\mu$ can be upper bounded by its linear tangent, a property implied by concavity of the said transformation. We further show that this concavity is equivalent to spectral independence under arbitrary external fields, an assumption that also goes by the name of fractional log-concavity. Our result can be seen as a new tool to establish entropy contraction from the much simpler variance contraction inequalities. A key differentiating feature of our result is that we make no assumptions on marginals of $\mu$ or the degrees of the underlying graphical model when $\mu$ is based on one. We leverage our results to derive tight modified log-Sobolev inequalities for multi-step down-up walks on fractionally log-concave distributions. As our main application, we establish the tight mixing time of $O(n\log n)$ for Glauber dynamics on Ising models with interaction matrix of operator norm smaller than $1$, improving upon the prior quadratic dependence on $n$.

研究の動機と目的

• 単体的複体上の高次元分布を分析するための新しい枠組み—エントロピー的独立性—を構築すること。
• 分散に基づくスペクトル的独立性とエントロピーに基づく解析の間のギャップを埋めること。
• 分数的対数凸分布におけるマルチステップのダウンアップウォークに対して、タイトな修正対数ソボレフ不等式を確立すること。
• 作用素ノルムが1未満のイジングモデルにおけるグルーバー動的過程の混合時間の改善を、従来の $n$ に関する二次的依存性を超えて達成すること。

提案手法

• エントロピー的独立性を、集合 $S$ からランダムに選ばれた要素の相対エントロピーが、$S$ の全エントロピーの $O(1/k)$ 未満であるという条件として定義する。これは分散に基づくスペクトル的独立性のエントロピー版に相当する。
• エントロピー的独立性が成り立つのは、$μ$ の生成多項式の変換版がその線形接線によって上から押さえ込まれるときであり、これは凹性と関連する条件であることを示す。
• この凹性条件が、任意の外部場においてスペクトル的独立性と同値であることを証明する。この性質は、分数的対数凸性として知られている。
• この同値性を用いて、分数的対数凸分布におけるマルチステップのダウンアップウォークに対する修正対数ソボレフ不等式を導出する。
• これらの不等式を用いて、作用素ノルムが1未満のイジングモデルにおけるグルーバー動的過程の混合時間の分析を行う。
• 基礎となるグラフモデルの周辺分布や次数に関する仮定を一切設けないことで、広範な適用可能性を達成する。

実験結果

リサーチクエスチョン

• RQ1 エントロピーを分散の代わりに用いた高次元分布において、エントロピー的独立性はスペクトル的独立性の意味的な類似物として有効に機能するか？
• RQ2 単体的複体上の分布の生成多項式が、その変換版が線形接線によって上から押さえ込まれるような条件は、どのような場合に成立するか？
• RQ3 高次元拡張子の文脈において、任意の外部場のもとで、分数的対数凸性はスペクトル的独立性と同値か？
• RQ4 エントロピー的独立性を用いて、分数的対数凸分布におけるマルコフ連鎖に対してタイトな修正対数ソボレフ不等式を導出できるか？
• RQ5 作用素ノルムが1未満のイジングモデルにおけるグルーバー動的過程の最適な混合時間は何か？

主な発見

• エントロピー的独立性は、変換された生成多項式の凹性と同値であり、さらに任意の外部場においてスペクトル的独立性とも同値である。
• この同値性により、分数的対数凸分布におけるマルチステップのダウンアップウォークに対して、タイトな修正対数ソボレフ不等式を導出できるようになった。
• 本手法により、作用素ノルムが1未満のイジングモデルにおけるグルーバー動的過程の混合時間として $O(n\log n)$ を達成し、従来の $O(n^2)$ の境界を改善した。
• 基礎となるグラフモデルの周辺分布や次数に関する仮定を一切設けないため、一般性が著しく向上した。
• 本フレームワークにより、より単純な分散収縮不等式を用いたエントロピー収縮が可能となり、高次元マルコフ連鎖を分析する新たな道筋が提供された。
• エントロピーと多項式の凹性の観点から、分数的対数凸性と高次元拡張子を統一的に理解する視点を提供した。