[論文レビュー] Logarithmic Sobolev inequalities in discrete product spaces: a proof by a transportation cost distance

K. Marton|arXiv (Cornell University)|Jul 10, 2015

Probabilistic and Robust Engineering Design参考文献 10被引用数 14

ひとこと要約

本稿では、輸送コスト距離のアプローチを用いて、離散積測度に対する対数的ソボレフ不等式を確立する。$W_2$ に類似した距離を導入することで、著者らはギブスサンプラーが相対エントロピーに関して収縮的であることを証明し、局所的仕様に依存する定数を介して条件付き相対エントロピーとグローバル相対エントロピーを結びつける。これにより、強い混合性またはドブリーシュイン型の条件のもとで、対数的ソボレフ不等式が成立することが可能になる。

ABSTRACT

The aim of this paper is to prove an inequality between relative entropy and the sum of average conditional relative entropies of the following form: For a fixed probability measure $q^n$ on $\mathcal X^n$, ($\mathcal X$ is a finite set), and any probability measure $p^n=\mathcal L(Y^n)$ on $\mathcal X^n$, we have \begin{equation}\label{*} D(p^n||q^n)\leq Const. \sum_{i=1}^n \Bbb E_{p^n} D(p_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n) || q_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n)), \end{equation} where $p_i(\cdot|y_1,\dots, y_{i-1},y_{i+1},\dots, y_n)$ and $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$ denote the local specifications for $p^n$ resp. $q^n$. The constant shall depend on the properties of the local specifications of $q^n$. Inequality (*) is meaningful in product spaces, both in the discrete and the continuous case, and can be used to prove a logarithmic Sobolev inequality for $q^n$, provided uniform logarithmic Sobolev inequalities are available for $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$, for all fixed $i$ and all fixed $(x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$. Inequality (*) directly implies that the Gibbs sampler associated with $q^n$ is a contraction for relative entropy. We derive inequality (*), and thereby a logarithmic Sobolev inequality, in discrete product spaces, by proving inequalities for an appropriate Wasserstein-like distance. A logarithmic Sobolev inequality is, roughly speaking, a contractivity property of relative entropy with respect to some Markov semigroup. It is much easier to prove contractivity for a distance between measures than for relative entropy, since distances satisfy the triangle inequality, and for them well known linear tools, like estimates through matrix norms can be applied.

研究の動機と目的

• 離散積空間上の確率測度に対して、輸送コスト距離フレームワークを用いて対数的ソボレフ不等式を確立すること。
• グローバル相対エントロピーと条件付き相対エントロピーの間の不等式を証明することで、ギブスサンプラーが相対エントロピーに関して収縮的であることを示すこと。
• 強い混合性やドブリーシュインの一意性条件などの十分条件を導出し、離散積空間における対数的ソボレフ不等式が成立する条件を特定すること。
• 相対エントロピーを制御するための $W_2$ 距離の一般化を図り、その距離的性質を活用してエントロピーの非線形性を回避すること。

提案手法

• 座標毎の不一致確率の二乗和の平方根の最小値として定義される、$W_2(r^n, s^n)$ に類似した距離を導入する。
• 局所的およびグローバル距離を関連付けるために、不等式 $W_2^2(p_I|\bar{y}_I, q_I|\bar{y}_I) \leq C \cdot \mathbb{E}\left[\sum_{\Lambda_j \subset I} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j}) \,\middle|\, \bar{Y}_I = \bar{y}_I\right]$ を用いる。
• 補題1を用いて、$m$ のサイズをもつブロックについて、$|p_{\Lambda_j}|\bar{Y}_{\Lambda_j} - q_{\Lambda_j}|\bar{Y}_{\Lambda_j}|^2 \leq m \cdot W^2(\cdot)$ により変動距離を $W_2$ で上界付ける。
• サイズ $m \cdot l$ のブロックを集合 $\mathcal{C}_l$ から更新するギブスサンプラーを採用し、強混合条件を用いて混合時間と距離収縮を制御する。
• 帰納法とカップリングの議論により、鍵となる不等式 $D(p_\Lambda || q_\Lambda) \leq \frac{4Cm}{\alpha^m} \cdot \sum_{j=1}^n \mathbb{E} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j})$ を導出する。
• 補助定理を用いて、$W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda)$ を $I \in \mathcal{I}_{ml}$ のブロックにわたる和で上界付ける。このときの定数は次元 $d$ とカップリング関数 $\varphi$ に依存する。

実験結果

リサーチクエスチョン

• RQ1 直接的なエントロピー推定を用いる代わりに、輸送コスト距離を用いて、離散積空間における対数的ソボレフ不等式を証明できるか？
• RQ2 条件付き仕様およびギブス測度の文脈において、$W_2$ 距離は相対エントロピーとどのように関係するか？
• RQ3 強い混合性やドブリーシュイン条件などの局所的仕様にどのような条件下で、ギブスサンプラーが相対エントロピーを収縮するか？
• RQ4 対数的ソボレフ定数は、局所的混合性および最小遷移確率にどのように依存するか？

主な発見

• 本稿では、$D(p^n || q^n) \leq C \cdot \sum_{i=1}^n \mathbb{E}_{p^n} D(p_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n) || q_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n))$ が成り立つことを証明しており、ここで $C$ は最小局所的仕様 $\alpha$ に依存する。
• 不等式における定数 $C$ は $\frac{4Cm}{\alpha^m}$ で上界付けられ、$\alpha < 1$ のとき $m$ に関して指数的減少を示し、強い混合性のもとで境界が改善されることを示す。
• 集合 $\mathcal{C}_l$ において強混合性を示す測度とカップリング関数 $\varphi$ を持つ場合、補助定理により、$m$ が十分に大きいとき $W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda) \leq C \cdot m^d \cdot \sum_{I \in \mathcal{I}_{ml}} \mathbb{E} |p_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda} - q_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda}|^2$ が成り立つ。
• 証明により、ギブスサンプラーが相対エントロピーに関して収縮的であることが示され、これは一様な局所的対数的ソボレフ条件のもとで対数的ソボレフ不等式の成立を意味する。
• 距離の三角不等式と距離に関する線形的手法を活用することで、エントロピーの非線形性を回避し、$W_2$ 距離からの収縮性を相対エントロピーへと移す手法が成功した。
• 前例のドブリーシュインの一意性条件に基づく結果を一般化し、有限範囲の相互作用を仮定しないギブス測度に対しても、強い混合条件が成立する場合には結果が拡張可能である。