[논문 리뷰] Entropic Independence in High-Dimensional Expanders: Modified Log-Sobolev Inequalities for Fractionally Log-Concave Polynomials and the Ising Model.

Nima Anari, Vishesh Jain외 3명|arXiv (Cornell University)|2021. 06. 08.

Markov Chains and Monte Carlo Methods참고 문헌 15인용 수 10

한 줄 요약

이 논문은 순수 심플렉스 복합체 위의 분포에 대해 분산 대신 엔트로피를 사용하는 엔트로피 독립성이라는 새로운 개념을 도입한다. 이는 스펙트럴 독립성의 일반화이다. 엔트로피 독립성이 생성 다항식의 분수 로그볼록성과 동치임을 증명함으로써 수정 로그소볼레프 부등식을 날카럽게 유도하고, 연산자 노름이 1 미만인 이징 모델에서 고르베르 동역학의 혼합 시간이 $O(nackepsilon n)$임을 증명한다. 이는 이전의 이차적 종속성보다 향상된 결과이다.

ABSTRACT

We introduce a notion called entropic independence for distributions $\mu$ defined on pure simplicial complexes, i.e., subsets of size $k$ of a ground set of elements. Informally, we call a background measure $\mu$ entropically independent if for any (possibly randomly chosen) set $S$, the relative entropy of an element of $S$ drawn uniformly at random carries at most $O(1/k)$ fraction of the relative entropy of $S$, a constant multiple of its ``share of entropy.'' Entropic independence is the natural analog of spectral independence, another recently established notion, if one replaces variance by entropy. In our main result, we show that $\mu$ is entropically independent exactly when a transformed version of the generating polynomial of $\mu$ can be upper bounded by its linear tangent, a property implied by concavity of the said transformation. We further show that this concavity is equivalent to spectral independence under arbitrary external fields, an assumption that also goes by the name of fractional log-concavity. Our result can be seen as a new tool to establish entropy contraction from the much simpler variance contraction inequalities. A key differentiating feature of our result is that we make no assumptions on marginals of $\mu$ or the degrees of the underlying graphical model when $\mu$ is based on one. We leverage our results to derive tight modified log-Sobolev inequalities for multi-step down-up walks on fractionally log-concave distributions. As our main application, we establish the tight mixing time of $O(n\log n)$ for Glauber dynamics on Ising models with interaction matrix of operator norm smaller than $1$, improving upon the prior quadratic dependence on $n$.

연구 동기 및 목표

• 심플렉스 복합체 위의 고차원 분포를 분석하기 위한 새로운 프레임워크인 엔트로피 독립성을 개발하는 것.
• 고차원 확산체에서 분산 기반의 스펙트럴 독립성과 엔트로피 기반 분석 간의 격차를 메우는 것.
• 분수 로그볼록 분포 위의 다단계 내림-올림 보행에 대해 날카로운 수정 로그소볼레프 부등식을 수립하는 것.
• 연산자 노름이 1 미만인 이징 모델에서 고르베르 동역학의 혼합 시간을 이전의 $n$에 대한 이차적 종속성 초과로 향상시키는 것.

제안 방법

• 엔트로피 독립성을 조건으로 정의한다. 이는 집합 $S$에서 무작위로 선택된 원소의 상대 엔트로피가 $S$의 총 엔트로피의 $O(1/k)$ 이내일 때 성립하며, 이는 분산 기반의 스펙트럴 독립성과 유사하지만 엔트로피 기반이다.
• 엔트로피 독립성이 성립함과 동시에, 분포 $\mu$의 생성 다항식의 변형된 형태가 그 선형 탄젠트에 의해 상한을 가지는 것과 동치임을 보여준다. 이 조건은 볼록성과 관련이 있다.
• 이 볼록성 조건이 임의의 외부 필드 하에서 스펙트럴 독립성과 동치임을 증명한다. 이 성질은 분수 로그볼록성으로 알려져 있다.
• 이 동치성을 활용하여 분수 로그볼록 분포 위의 다단계 내림-올림 보행에 대해 수정 로그소볼레프 부등식을 도출한다.
• 이 부등식을 활용하여 연산자 노름이 1 미만인 이징 모델에서 고르베르 동역학의 혼합 시간을 분석한다.
• 기초적인 그래픽 모델의 주변확률이나 차수에 대한 가정이 없이도 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 엔트로피 독립성이 분산 대신 엔트로피를 사용할 때 고차원 분포에서 스펙트럴 독립성의 의미 있는 유사체로 기능할 수 있는가?
• RQ2 심플렉스 복합체 위의 분포의 생성 다항식이 변형된 형태가 그 선형 탄젠트에 의해 상한을 가지는 조건은 무엇인가?
• RQ3 고차원 확산체의 맥락에서 임의의 외부 필드 하에서 분수 로그볼록성과 스펙트럴 독립성은 동치인가?
• RQ4 엔트로피 독립성을 사용하여 분수 로그볼록 분포 위의 마르코프 체인에 대해 날카로운 수정 로그소볼레프 부등식을 도출할 수 있는가?
• RQ5 연산자 노름이 1 미만인 이징 모델에서 고르베르 동역학의 최적 혼합 시간은 얼마인가?

주요 결과

• 엔트로피 독립성은 변형된 생성 다항식의 볼록성과 동치이며, 이는 임의의 외부 필드 하에서 스펙트럴 독립성과도 동치이다.
• 이 동치성 덕분에 분수 로그볼록 분포 위의 다단계 내림-올림 보행에 대해 날카로운 수정 로그소볼레프 부등식을 도출할 수 있다.
• 이 방법은 연산자 노름이 1 미만인 이징 모델에서 고르베르 동역학의 혼합 시간을 $O(n\log n)$으로 향상시켰으며, 이는 이전의 $O(n^2)$ bound를 초월한다.
• 기초 그래픽 모델의 주변확률이나 차수에 대한 가정 없이도 결과가 성립하므로 일반성과 적용 범위가 높아진다.
• 이 프레임워크는 더 단순한 분산 수축 부등식을 통해 엔트로피 수축을 가능하게 하여 고차원 마르코프 체인을 분석하는 데 새로운 길을 열어준다.
• 엔트로피와 다항식 볼록성의 관점에서 분수 로그볼록성과 고차원 확산체를 통합적으로 이해할 수 있는 통찰을 제공한다.