[논문 리뷰] Logarithmic Sobolev inequalities in discrete product spaces: a proof by a transportation cost distance

K. Marton|arXiv (Cornell University)|2015. 07. 10.

Probabilistic and Robust Engineering Design참고 문헌 10인용 수 14

한 줄 요약

이 논문은 이산 제품 측도에 대한 로그 소보레프 부등식을 운반 비용 거리 접근법을 사용하여 수립한다. 워샤르슈타인 유사 거리 $W_2$ 를 도입함으로써 저자들은 지배 샘플러가 상대 엔트로피에 대해 수축적임을 증명하며, 국소 사양에 의존하는 상수를 통해 조건부 상대 엔트로피를 전역 상대 엔트로피와 연결한다. 이는 강한 혼합 조건 또는 도브루시닌 유형 조건 하에서 로그 소보레프 부등식을 가능하게 한다.

ABSTRACT

The aim of this paper is to prove an inequality between relative entropy and the sum of average conditional relative entropies of the following form: For a fixed probability measure $q^n$ on $\mathcal X^n$, ($\mathcal X$ is a finite set), and any probability measure $p^n=\mathcal L(Y^n)$ on $\mathcal X^n$, we have \begin{equation}\label{*} D(p^n||q^n)\leq Const. \sum_{i=1}^n \Bbb E_{p^n} D(p_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n) || q_i(\cdot|Y_1,\dots, Y_{i-1},Y_{i+1},\dots, Y_n)), \end{equation} where $p_i(\cdot|y_1,\dots, y_{i-1},y_{i+1},\dots, y_n)$ and $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$ denote the local specifications for $p^n$ resp. $q^n$. The constant shall depend on the properties of the local specifications of $q^n$. Inequality (*) is meaningful in product spaces, both in the discrete and the continuous case, and can be used to prove a logarithmic Sobolev inequality for $q^n$, provided uniform logarithmic Sobolev inequalities are available for $q_i(\cdot|x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$, for all fixed $i$ and all fixed $(x_1,\dots, x_{i-1},x_{i+1},\dots, x_n)$. Inequality (*) directly implies that the Gibbs sampler associated with $q^n$ is a contraction for relative entropy. We derive inequality (*), and thereby a logarithmic Sobolev inequality, in discrete product spaces, by proving inequalities for an appropriate Wasserstein-like distance. A logarithmic Sobolev inequality is, roughly speaking, a contractivity property of relative entropy with respect to some Markov semigroup. It is much easier to prove contractivity for a distance between measures than for relative entropy, since distances satisfy the triangle inequality, and for them well known linear tools, like estimates through matrix norms can be applied.

연구 동기 및 목표

• 이산 제품 공간 상의 측도에 대해 운반 비용 거리 프레임워크를 사용하여 로그 소보레프 부등식을 수립하는 것.
• 전역 상대 엔트로피와 조건부 상대 엔트로피 사이의 부등식을 증명함으로써 지배 샘플러가 상대 엔트로피에 대해 수축적임을 보이는 것.
• 강한 혼합 조건 또는 도브루시닌의 유일성 조건과 같은 충분조건을 도출하여 이산 제품 공간에서 로그 소보레프 부등식이 성립하는 조건을 규명하는 것.
• $W_2$ 거리를 상대 엔트로피를 제어하는 도구로 일반화하며, 거리의 거리 성질을 활용하여 엔트로피의 비선형성 문제를 우회하는 것.

제안 방법

• 좌표별 불일치 확률의 제곱합의 제곱근을 최소화하는 방식으로 정의된 워샤르슈타인 유사 거리 $W_2(r^n, s^n)$ 를 도입한다.
• 지역 거리와 전역 거리를 연결하기 위해 부등식 $W_2^2(p_I|\bar{y}_I, q_I|\bar{y}_I) \leq C \cdot \mathbb{E}\left[\sum_{\Lambda_j \subset I} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j}) \,\middle|\, \bar{Y}_I = \bar{y}_I\right]$ 를 사용한다.
• 레마 1을 적용하여 블록 크기 $m$ 에 대해 $|p_{\Lambda_j}|\bar{Y}_{\Lambda_j} - q_{\Lambda_j}|\bar{Y}_{\Lambda_j}|^2 \leq m \cdot W^2(\cdot)$ 를 통해 변동 거리를 $W_2$ 로 경계한다.
• 크기 $m \cdot l$ 의 블록을 집합 $\mathcal{C}_l$ 에서 업데이트하는 지배 샘플러를 사용하며, 강한 혼합 조건을 통해 혼합 시간과 거리 수축을 제어한다.
• 유도법과 커플링 추론을 통해 핵심 부등식 $D(p_\Lambda || q_\Lambda) \leq \frac{4Cm}{\alpha^m} \cdot \sum_{j=1}^n \mathbb{E} W^2(p_{\Lambda_j}|\bar{Y}_{\Lambda_j}, q_{\Lambda_j}|\bar{Y}_{\Lambda_j})$ 를 유도한다.
• 보조 정리를 사용하여 차원 $d$ 와 커플링 함수 $\varphi$ 에 따라 의존하는 상수를 갖는다. $W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda)$ 는 블록 $I \in \mathcal{I}_{ml}$ 에 대한 합으로 경계된다.

실험 결과

연구 질문

• RQ1 직접 엔트로피 추정 대신 운반 비용 거리 방법을 사용하여 이산 제품 공간에서 로그 소보레프 부등식을 증명할 수 있는가?
• RQ2 조건부 사양과 지배 측도의 맥락에서 $W_2$ 거리는 상대 엔트로피와 어떻게 관련되는가?
• RQ3 강한 혼합 조건 또는 도브루시닌 조건과 같은 국소 사양 조건 하에서 지배 샘플러는 상대 엔트로피를 어떻게 수축하는가?
• RQ4 로그 소보레프 상수는 국소 혼합 성질과 최소 전이 확률에 어떻게 의존하는가?

주요 결과

• 논문은 $D(p^n || q^n) \leq C \cdot \sum_{i=1}^n \mathbb{E}_{p^n} D(p_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n) || q_i(\cdot|Y_{1},\dots,Y_{i-1},Y_{i+1},\dots,Y_n))$ 를 증명하며, 이때 $C$ 는 최소 국소 사양 $\alpha$ 에 따라 달라진다.
• 부등식의 상수 $C$ 는 $\frac{4Cm}{\alpha^m}$ 으로 경계되며, $\alpha < 1$ 일 때 $m$ 에 대해 지수 감소함을 보여 강한 혼합 조건 하에서 유의미한 개선이 이루어진다.
• $\mathcal{C}_l$ 에 대해 강한 혼합 조건을 만족하고 커플링 함수 $\varphi$ 를 갖는 측도에 대해, 보조 정리는 큰 $m$ 에 대해 $W_2^2(p_\Lambda, q_\Lambda|\bar{y}_\Lambda) \leq C \cdot m^d \cdot \sum_{I \in \mathcal{I}_{ml}} \mathbb{E} |p_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda} - q_{I\cap\Lambda}|\bar{Y}_{I\cap\Lambda}|^2$ 를 보장한다.
• 증명은 지배 샘플러가 상대 엔트로피에 대해 수축적임을 보이며, 이는 균일한 국소 로그 소보레프 조건 하에서 로그 소보레프 부등식을 암시한다.
• 이 방법은 거리의 삼각 부등식과 선형 도구를 활용하여 $W_2$ 거리의 수축성을 상대 엔트로피로 전이함으로써 엔트로피의 비선형성 문제를 우회한다.
• 결과는 유한 범위 상호작용이 필요로 하지 않는 강한 혼합 조건을 만족하는 지배 측도로 확장되며, 이는 도브루시닌의 유일성 조건에 기반한 이전 결과를 일반화한다.