[논문 리뷰] Links between the Logarithmic Sobolev Inequality and the convolution inequalities for Entropy and Fisher Information

Thomas A. Courtade|arXiv (Cornell University)|2016. 08. 18.

Point processes and geometric inequalities참고 문헌 22인용 수 9

한 줄 요약

이 논문은 차원에 관계없이 성립하는 보간 부등식을 통해 로그 소볼레프 부등식(LSI), 엔트로피 능력 부등식(EPI), 피셔 정보 부등식(FII)을 연결하며, LSI의 결함이 컨볼루션 부등식을 만족하고 엔트로피 및 피셔 정보 중심극한정리에서의 수렴을 제어함을 보여준다. 핵심 결과는 이러한 기본적인 정보이론적 관계를 보간하는 통합된 부등식으로, 새로운 안정성 결과와 향상된 초수렴성 추정치를 가능하게 한다.

ABSTRACT

Relative to the Gaussian measure on $\mathbb{R}^d$, entropy and Fisher information are famously related via Gross' logarithmic Sobolev inequality (LSI). These same functionals also separately satisfy convolution inequalities, as proved by Stam. We establish a dimension-free inequality that interpolates among these relations. Several interesting corollaries follow: (i) the deficit in the LSI satisfies a convolution inequality itself; (ii) the deficit in the LSI controls convergence in the entropic and Fisher information central limit theorems; and (iii) the LSI is stable with respect to HWI jumps (i.e., a jump in any of the convolution inequalities associated to the HWI functionals). Another consequence is that the convolution inequalities for Fisher information and entropy powers are reversible in general, up to a factor depending on the Stam defect. An improved form of Nelson's hypercontractivity estimate also follows. Finally, we speculate on the possibility of an analogous reverse Brunn-Minkowski inequality and a related upper bound on surface area associated to Minkowski sums.

연구 동기 및 목표

• 로그 소볼레프 부등식(LSI), 엔트로피 능력 부등식(EPI), 피셔 정보 부등식(FII) 사이를 보간하는 통합적이고 차원에 관계없는 부등식을 수립하기.
• LSI의 결함이 컨볼루션 부등식을 만족함을 보여, LSI의 컨볼루션 작용에 대한 안정성을 정량화하기.
• LSI의 결함이 엔트로피 및 피셔 정보 중심극한정리에서의 수렴 속도를 제어함을 보여주기.
• 새로운 보간 프레임워크를 활용해 넬슨의 부등식을 정밀하게 분석함으로써 향상된 초수렴성 추정치를 유도하기.
• 기하학적 해석을 제안하며, 예를 들어 Minkowski 합에 대한 잠재적인 역 브루너-민코프스키 부등식과 표면적 비율의 경계를 고려하기.

제안 방법

• 독립적이고 중심이 이동한 랜덤 벡터에 대해 상대 엔트로피 $ D(X) $, 상대 피셔 정보 $ I(X) $, 그리고 가중합 $ \sqrt{\theta}X + \sqrt{\bar{\theta}}Y $ 의 엔트로피를 포함하는 일반적인 보간 부등식을 유도한다.
• LSI와 스탬 결함 $ \mathsf{p}(X) = \frac{1}{d}N(X)J(X) \geq 1 $ 사이의 등가성과, 데 브리이 운명과 함수 해석학을 통해 EPI 및 FII와의 연결을 수립한다.
• LSI 결함 $ \delta_{\mathsf{LSI}}(X) $ 의 이동 불변성을 활용하여 보간 부등식을 단순화하고 일반화한다.
• 변분 접근법과 오르누슈-울렌벡 세미군에 따른 $ L^p $ 공간에서의 노름 미분을 통해 날카운 초수렴성 추정치를 도출한다.
• 보간 부등식과 '스탬 결함' 개념을 활용하여 역 EPI 및 FII를 수립한다.
• 함수의 미세함과 노름의 미분 가능성에 기반한 미분 부등식을 유도함으로써 정밀한 초수렴성 추정치를 도출한다.

실험 결과

연구 질문

• RQ1 로그 소볼레프 부등식의 결함이 컨볼루션 부등식을 만족함을 보여, 컨볼루션 작용에 대한 안정성을 정량화할 수 있는가?
• RQ2 LSI의 결함이 엔트로피 및 피셔 정보 중심극한정리에서의 수렴 속도를 제어하는가?
• RQ3 클래식한 EPI 및 FII는 스탬 결함에 따라 인수에 의존하는 인수로 뒤집힐 수 있으며, 이러한 조건은 무엇인가?
• RQ4 Minkowski 합에 대해 보간 부등식의 기하학적 해석이 존재하는가, 예를 들어 역 브루너-민코프스키 부등식이 존재하는가?
• RQ5 LSI의 결함을 지수에 정량적 항으로 포함함으로써 넬슨의 초수렴성 추정치를 개선할 수 있는가?

주요 결과

• LSI의 결함은 컨볼루션 부등식을 만족한다: $ \theta D(X) + \bar{\theta}D(Y) \leq \bar{\theta}\delta_{\mathsf{LSI}}(X) + \theta\delta_{\mathsf{LSI}}(Y) + D(\sqrt{\theta}X + \sqrt{\bar{\theta}}Y) $, 이는 LSI의 컨볼루션 작용에 대한 안정성을 정량화한다.
• LSI의 결함은 엔트로피 및 피셔 정보 중심극한정리에서의 수렴을 제어하며, 수렴 속도의 정량적 추정치를 제공한다.
• EPI 및 FII는 스탬 결함 $ \mathsf{p}(X) $ 에 따라 인수에 의존하는 인수로 뒤집힐 수 있으며, 동일한 보간 프레임워크 하에서 역 부등식이 성립한다.
• 넬슨의 초수렴성 추정치의 개선된 형태가 도출된다: $ \|P_t f\|^{\bar{\theta}}_{L^{q(t)}(\gamma)} \|P_t g\|^{\theta}_{L^{q(t)}(\gamma)} \leq \exp\left(-\frac{2t}{p p'} E_{p,\theta}(f,g) + o(t)\right) \|f\|^{\bar{\theta}}_{L^p(\gamma)} \|g\|^{\theta}_{L^p(\gamma)} $, 여기서 $ E_{p,\theta}(f,g) $ 는 보간 부등식의 결함을 측정한다.
• 논문은 다음과 같은 기하학적 해석을 제안한다: Minkowski 합에 대해 잠재적인 역 브루너-민코프스키 부등식이 존재하며, 표면적 비율이 개별 비율의 가중기하평균으로 제한된다.