[논문 리뷰] Gaussian-width gradient complexity, reverse log-Sobolev inequalities and nonlinear large deviations

Ronen Eldan|arXiv (Cornell University)|2016. 12. 13.

Markov Chains and Monte Carlo Methods참고 문헌 5인용 수 11

한 줄 요약

이 논문은 이산 큐브와 가우시안 공간 위의 확률 측도에 대해 새로운 복잡도 측도인 가우시안 폭 기울기 복잡도를 도입하며, 저복잡도 측도가 근사적으로 산술 평균의 혼합으로 분해될 수 있음을 보여준다. 주요 결과로는 가우시안 경우에서 역 로그 소볼레프 부등식을 확립하고, 두 번째 도함수의 유계성 조건 없이 커버링 수를 가우시안 폭으로 대체함으로써 비선형 대수분포 경계를 향상시킨다.

ABSTRACT

We prove structure theorems for measures on the discrete cube and on Gaussian space, which provide sufficient conditions for mean-field behavior. These conditions rely on a new notion of complexity for such measures, namely the Gaussian-width of the gradient of the log-density. On the cube $\{-1,1\}^n$, we show that a measure $ν$ which exhibits low complexity can be written as a mixture of measures $\{ν_θ\}_{θ\in \mathcal{I}}$ such that: i. for each $θ$, the measure $ν_θ$ is a small perturbation of $ν$ such that $\log frac{d ν_θ}{d ν}$ is a linear function whose gradient is small and, ii. $ν_θ$ is close to some product measure, in Wasserstein distance, for most $θ$. Thus, our framework can be used to study the behavior of low-complexity measures beyond approximation of the partition function, showing that those measures are roughly mixtures of product measures whose entropy is close to that of the original measure. In particular, as a corollary of our theorems, we derive a bound for the naïve mean-field approximation of the log-partition function which improves the nonlinear large deviation framework of Chatterjee and Dembo in several ways: 1. It does not require any bounds on second derivatives. 2. The covering number is replaced by the weaker notion of Gaussian-width 3. We obtain stronger asymptotics with respect to the dimension. Two other corollaries are decomposition theorems for exponential random graphs and large-degree Ising models. In the Gaussian case, we show that measures of low-complexity exhibit an almost-tight reverse Log-Sobolev inequality.

연구 동기 및 목표

• 이산 큐브 또는 가우시안 공간 위의 측도가 평균장 행동을 나타내는 데 필요한 충분조건를 규명하는 것.
• 로그 밀도의 기울기를 바탕으로 한 새로운 복잡도 측도인 가우시안 폭 기울기 복잡도를 개발하는 것.
• 저복잡도 측도가 거의 동일한 엔트로피를 갖는 산술 평균의 혼합으로 근사화될 수 있는 분해 프레임워크를 제공하는 것.
• 찰라티제와 데모(2016)의 비선형 대수분포 프레임워크를 개선하여 두 번째 도함수의 가정을 제거하고, 커버링 수를 가우시안 폭으로 대체하는 것.
• 가우시안 설정에서 저복잡도 측도에 대해 역 로그 소볼레프 부등식을 확립하는 것.

제안 방법

• 측도의 로그 밀도 기울기의 가우시안 폭으로 가우시안 폭 기울기 복잡도를 정의한다.
• 스토하스틱 과정과 조화 확장을 사용하여 기울인 측도와 산술 평균 측도 사이의 와서스타인 거리를 연결한다.
• 이토의 공식을 적용하여 로그 밀도와 그 기울기와 관련된 마틴갈의 SDE를 유도한다.
• 로그 밀도에 대한 작은 선형 편향을 통해 원래 측도의 기울기를 작게 유지하는 기울인 측도를 구성한다.
• 커버링 복잡도를 제어하기 위해 가우시안 폭을 사용하여 찰라티제와 데모(2016)에서 사용한 커버링 수를 대체한다.
• 저복잡도 측도의 엔트로피를 그 가우시안 폭에 따라 유계함으로써 역 로그 소볼레프 부등식을 도출한다.

실험 결과

연구 질문

• RQ1 이산 큐브 위의 측도가 원래 측도의 작은 기울임으로 근사되는 산술 평균 혼합으로 표현될 수 있는 조건은 무엇인가?
• RQ2 커버링 수를 가우시안 폭으로 대체함으로써 비선형 대수분포 프레임워크는 어떻게 향상될 수 있는가?
• RQ3 가우시안 폭 기울기 복잡도는 이징 모델과 지수 무작위 그래프에서 평균장 행동을 특성화하는 데 어떤 역할을 하는가?
• RQ4 가우시안 공간에서 저복잡도 측도에 대해 역 로그 소볼레프 부등식을 확립할 수 있는가?
• RQ5 두 번째 도함수의 유계성 조건 없이 로그-패티션 함수의 나이브 평균장 근사치는 얼마나 향상시킬 수 있는가?

주요 결과

• 낮은 가우시안 폭 기울기 복잡도를 갖는 이산 큐브 위의 측도는 각각 원래 측도의 작은 기울임인 산술 평균 혼합으로 분해될 수 있다.
• 기울임 가족의 대부분의 매개변수에 대해 각 기울인 측도와 산술 평균 측도 사이의 와서스타인 거리는 작다.
• 분해 과정에서 원래 측도의 엔트로피는 작은 오차 내에서 유지되며, 이는 평균장 행동을 확인한다.
• 찰라티제와 데모(2016)의 비선형 대수분포 결과는 두 번째 도함수의 유계성 조건이 필요 없게 되어 향상된다.
• 커버링 수는 더 약한 개념인 가우시안 폭으로 대체되어 고차원에서 더 강력한 점근적 경계를 이끌어낸다.
• 가우시안 경우에서 저복잡도 측도는 거의 날카로운 역 로그 소볼레프 부등식을 만족하며, 엔트로피 감쇠를 가우시안 폭에 따라 정량화한다.