[論文レビュー] Gaussian-width gradient complexity, reverse log-Sobolev inequalities and nonlinear large deviations

Ronen Eldan|arXiv (Cornell University)|Dec 13, 2016

Markov Chains and Monte Carlo Methods参考文献 5被引用数 11

ひとこと要約

本稿では、離散立方体およびガウス空間上の確率測度に対して、ガウス幅勾配複雑度と呼ばれる新しい複雑度測度を導入し、低複雑度の測度が積測度の混合による近似を許容することを示している。主な結果として、ガウスの場合における逆対数ソボレフ不等式を確立し、二階微分の境界を要しない条件下で、カバー数をガウス幅に置き換えることで非線形大偏差境界を改善している。

ABSTRACT

We prove structure theorems for measures on the discrete cube and on Gaussian space, which provide sufficient conditions for mean-field behavior. These conditions rely on a new notion of complexity for such measures, namely the Gaussian-width of the gradient of the log-density. On the cube $\{-1,1\}^n$, we show that a measure $ν$ which exhibits low complexity can be written as a mixture of measures $\{ν_θ\}_{θ\in \mathcal{I}}$ such that: i. for each $θ$, the measure $ν_θ$ is a small perturbation of $ν$ such that $\log frac{d ν_θ}{d ν}$ is a linear function whose gradient is small and, ii. $ν_θ$ is close to some product measure, in Wasserstein distance, for most $θ$. Thus, our framework can be used to study the behavior of low-complexity measures beyond approximation of the partition function, showing that those measures are roughly mixtures of product measures whose entropy is close to that of the original measure. In particular, as a corollary of our theorems, we derive a bound for the naïve mean-field approximation of the log-partition function which improves the nonlinear large deviation framework of Chatterjee and Dembo in several ways: 1. It does not require any bounds on second derivatives. 2. The covering number is replaced by the weaker notion of Gaussian-width 3. We obtain stronger asymptotics with respect to the dimension. Two other corollaries are decomposition theorems for exponential random graphs and large-degree Ising models. In the Gaussian case, we show that measures of low-complexity exhibit an almost-tight reverse Log-Sobolev inequality.

研究の動機と目的

• 離散立方体またはガウス空間上の測度が平均場的挙動を示すための十分条件を特定すること。
• 対数密度の勾配に基づく、ガウス幅勾配複雑度と呼ばれる新しい複雑度測度を構築すること。
• 低複雑度の測度が、元の測度とほぼ同じエントロピーを持つ積測度の混合として近似可能であるような分解フレームワークを提供すること。
• チャタージーとデムボ（2016）の非線形大偏差枠組みを、二階微分の仮定を排除し、カバー数をガウス幅に置き換えることで改善すること。
• ガウス設定における低複雑度の測度に対して、逆対数ソボレフ不等式を確立すること。

提案手法

• 測度の対数密度の勾配のガウス幅としてガウス幅勾配複雑度を定義する。
• 確率過程と調和拡張を用いて、ねじれた測度と積測度間のワサーライン距離を関連付ける。
• 伊藤の公式を適用して、対数密度およびその勾配に関連するマルティンゲールのSDEを導出する。
• 対数密度の小さな線形摂動によって元の測度のねじりを構築し、ねじりの勾配が小さくなるように保証する。
• カバー数の代わりにガウス幅を用いて覆いの複雑度を制御する。これはチャタージーとデムボ（2016）で用いられたカバー数の置き換えである。
• ガウス幅を用いて低複雑度の測度のエントロピーを評価することで、逆対数ソボレフ不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 離散立方体上の測度が、元の測度と同程度のエントロピーを持つ積測度の混合として近似可能となる条件は何か？
• RQ2 カバー数をガウス幅に置き換えることで、非線形大偏差枠組みをどの程度改善できるか？
• RQ3 ガウス幅勾配複雑度は、イジング模型や指数型ランダムグラフにおける平均場的挙動を特徴付ける上で果たす役割は何か？
• RQ4 ガウス空間における低複雑度の測度に対して、逆対数ソボレフ不等式を確立できるか？
• RQ5 二階微分の境界を仮定しない条件下で、対数パーチション関数のナイーブな平均場近似をどの程度改善できるか？

主な発見

• ガウス幅勾配複雑度が低い離散立方体上の測度は、元の測度の小さなねじりである積測度の混合に分解可能である。
• ねじり族のほとんどのパrameterにおいて、各ねじった測度と積測度との間のワサーライン距離は小さい。
• 分解において元の測度のエントロピーは、小さな誤差の範囲内で保持され、平均場的挙動が確認された。
• チャタージーとデムボ（2016）の非線形大偏差結果は、二階微分の境界を要しないように改善された。
• カバー数の代わりに、より弱い概念であるガウス幅が用いられ、高次元における漸近的境界が強化された。
• ガウスの場合、低複雑度の測度はほぼタイトな逆対数ソボレフ不等式を満たし、ガウス幅を用いてエントロピーの減衰を定量的に評価できる。