[논문 리뷰] Information-Theoretic Perspectives on Brascamp-Lieb Inequality and Its Reverse

Jingbo Liu, Thomas A. Courtade외 2명|arXiv (Cornell University)|2017. 02. 21.

Point processes and geometric inequalities참고 문헌 66인용 수 16

한 줄 요약

이 논문은 브라스앰프-라이블 부등식과 그 역(바르테의 부등식)을 통합하는 정보이론적 프레임워크를 제안하며, 새로운 전진-역 부등식을 통해 이들의 엔트로피 형태를 증명한다. 이 방법은 엔트로피와 피셔 정보 기법을 활용하며, 리브가의 영감을 받은 '두 배하기 기법'을 사용하여 가우시안 최적성, 데이터 처리, 텐서화 성질을 확립한다. 이는 벡터 가우시안 소스 코딩과 공통 정보 이론 분야에서 새로운 결과를 가능하게 한다.

ABSTRACT

We introduce an inequality which may be viewed as a generalization of both the Brascamp-Lieb inequality and its reverse (Barthe's inequality), and prove its information-theoretic (i.e.\ entropic) formulation. This result leads to a unified approach to functional inequalities such as the variational formula of Rényi entropy, hypercontractivity and its reverse, strong data processing inequalities, and transportation-cost inequalities, whose utility in the proofs of various coding theorems has gained growing popularity recently. We show that our information-theoretic setting is convenient for proving properties such as data processing, tensorization, convexity (Riesz-Thorin interpolation) and Gaussian optimality. In particular, we elaborate on a "doubling trick" used by Lieb and Geng-Nair to prove several results on Gaussian optimality. Several applications are discussed, including a generalization of the Brascamp-Lieb inequality involving Gaussian random transformations, the determination of Wyner's common information of vector Gaussian sources, and the achievable rate region of certain key generation problems in the case of vector Gaussian sources.

연구 동기 및 목표

• 브라스앰프-라이블 부등식과 그 역(바르테의 부등식)을 하나의 정보이론적 공식화로 통합하는 것.
• 전체적으로 고전적 및 역 기능 부등식을 하나의 프레임워크에 포괄하는 전진-역 부등식을 수립하는 것.
• 이 프레임워크가 데이터 처리, 텐서화, 볼록성(Riesz-Thorin 보간), 가우시안 최적성 등의 성질을 증명하는 데 유용함을 보여주는 것.
• 이 프레임워크를 활용하여 정보이론의 새로운 문제, 특히 벡터 가우시안 소스에 대한 와이너의 공통 정보와 키 생성 비율 영역에 적용하는 것.

제안 방법

• 미분 엔트로피와 피셔 정보를 바탕으로 일반적인 전진-역 브라스앰프-라이블 부등식을 도입하는 것.
• 가우시안 분포의 회전 대칭성에 기반한 '두 배하기 기법'을 사용하여 부등식에서 가우시안 최적성을 증명하는 것.
• 이차 모멘트가 유계인 분포 수열의 극한을 다루기 위해 약한 수렴과 상대 엔트로피의 하부 해석 연속성을 활용하는 것.
• 엔트로피 능력 부등식과 드 브루이jni의 항등식을 사용하여 가우시안 페르터베이션 하에서 미분 엔트로피와 피셔 정보를 연결하는 것.
• 공분산 제약 조건 하에서 가우시안 분포가 엔트로피를 최대화한다는 사실을 활용하여 극한에서 엔트로피 항을 유계화하는 것.
• 단조 수렴 정리와 잘라내기 기법을 사용하여 극한 전이 과정에서 공분산 행렬의 추적 항을 제어하는 것.

실험 결과

연구 질문

• RQ1 단일 정보이론적 부등식이 브라스앰프-라이블 부등식과 그 역을 통합할 수 있는가?
• RQ2 리브의 '두 배하기 기법'을 일반적인 전진-역 설정에서 가우시안 최적성을 증명하는 데 어떻게 적응시킬 수 있는가?
• RQ3 이 통합 프레임워크가 강력한 데이터 처리 부등식과 초수렴성에 어떤 영향을 미치는가?
• RQ4 이 프레임워크를 사용하여 벡터 가우시안 소스에 대한 와이너의 공통 정보의 정확한 값을 도출할 수 있는가?
• RQ5 이 방법을 사용하여 벡터 가우시안 소스에서 키 생성의 가능 비율 영역은 무엇인가?

주요 결과

• 전진-역 브라스앰프-라이블 부등식이 중심 가우시안 함수에 대해 성립함과 동시에 그 역도 성립할 때에만 전체적으로 성립하며, 이는 통합된 설정에서 가우시안 최적성을 확립한다.
• 이 프레임워크는 이차 모멘트가 유계인 랜덤 벡터 수열의 미분 엔트로피가 약한 수렴 하에서 공분산이 균일하게 유계일 경우 상부 해석 연속성을 가진다는 것을 증명한다.
• 약한 수렴을 통해 가우시안 분포로 수렴하는 랜덤 벡터 수열의 엔트로피 극한은 공분산이 균일하게 유계일 조건 하에서 극한 가우시안의 엔트로피로 상향 유계화된다.
• 이 프레임워크는 전진-역 부등식의 등호 조건을 활용하여 벡터 가우시안 소스에 대한 와이너의 공통 정보를 결정하는 데 기여한다.
• 제안된 부등식을 통해 벡터 가우시안 소스에서 키 생성의 가능 비율 영역이 특성화되며, 이는 이전 결과를 다변량 설정으로 확장한다.
• '두 배하기 기법'과 약한 수렴을 사용한 증명 기법은 고차원 엔트로피 및 공분산 표현에서 비퇴화 극한을 다루는 데 강력한 방법을 제공한다.