[논문 리뷰] Brascamp-Lieb Inequality and Its Reverse: An Information Theoretic View

Jingbo Liu, Thomas A. Courtade외 2명|arXiv (Cornell University)|2016. 05. 10.

Wireless Communication Security Techniques참고 문헌 30인용 수 7

한 줄 요약

이 논문은 브라스앰프-라이블(Brascamp-Lieb, BL) 부등식과 그 역부등식 사이의 통합된 정보이론적 이중성 관계를 제시한다. 이는 카르렌과 코르데로-에라스킨의 이중성 이론을 브로드캐스트 채널 및 다중 액세스 채널 등의 랜덤 변환을 포함하도록 일반화함으로써 달성된다. 주요 기여는 BL 유형 부등식에 대해 가우시안 최적성, 텐서화, 볼록성, 데이터 처리 성질을 증명할 수 있는 프레임워크를 제공하는 것으로, 이는 다변량 넬슨 초수렴성 정리의 신규 결과와 가우시안 소스에 대한 다변량 와이너 공통정보의 정확한 특성화로 이어진다.

ABSTRACT

We generalize a result by Carlen and Cordero-Erausquin on the equivalence between the Brascamp-Lieb inequality and the subadditivity of relative entropy by allowing for random transformations (a broadcast channel). This leads to a unified perspective on several functional inequalities that have been gaining popularity in the context of proving impossibility results. We demonstrate that the information theoretic dual of the Brascamp-Lieb inequality is a convenient setting for proving properties such as data processing, tensorization, convexity and Gaussian optimality. Consequences of the latter include an extension of the Brascamp-Lieb inequality allowing for Gaussian random transformations, the determination of the multivariate Wyner common information for Gaussian sources, and a multivariate version of Nelson's hypercontractivity theorem. Finally we present an information theoretic characterization of a reverse Brascamp-Lieb inequality involving a random transformation (a multiple access channel).

연구 동기 및 목표

• 브라스앰프-라이블 부등식과 상대 엔트로피의 하위가환성 간의 이중성을 브로드캐스트 채널과 같은 랜덤 변환을 포함하도록 확장하여 정보이론에서의 적용 범위를 넓히는 것.
• 기능적 부등식에서 데이터 처리, 텐서화, 볼록성, 가우시안 최적성 등의 성질을 증명하기 위한 통합된 프레임워크를 제공하는 것.
• 다중 액세스 채널(MAC) 모델을 통해 역부등식을 특성화함으로써, 단사적인 경우에 바르테의 원래 수식에서 'sup' 연산이 사라지는 현상을 드러내는 것.
• 제안된 이중성 프레임워크를 사용하여 가우시안 소스에 대한 다변량 와이너 공통정보를 규명하는 것.
• 정보이론적 BL 부등식의 이중성으로부터 다변량 넬슨 초수렴성 정리의 형태를 수립하는 것.

제안 방법

• 카르렌과 코르데로-에라스킨의 이중성 이론을 비결정적 변환(즉, 브로드캐스트 채널)을 允허하는 방식으로 BL 부등식 프레임워크에 일반화하는 것.
• 상대 엔트로피의 음이 아닌 성질과 돈스커-바라다한 변분 공식을 핵심 기술 도구로 사용하여 이중성 결과를 도출하는 것.
• 유한 알파벳 조건 하에서 상대 정보의 분할 성질을 적용하여 역이중성을 증명하고, KKT 조건과 보완성 조건을 활용하는 것.
• 두 개의 독립적인 랜덤 변수가 합과 차가 서로 독립일 경우에 그들이 공동으로 가우시안 분포를 가진다는 사실을 이용하여 가우시안 최적성을 확립하는 것.
• 채널 전이 커널이 변환을 정의하는 다중 액세스 채널(MAC)을 통해 역브라스앰프-라이블 부등식을 재구성하는 것.
• 커플링 기법과 상대 엔트로피 최소화를 활용하여 기능적 부등식과 정보이론적 제약 조건 간의 동치성을 증명하는 것.

실험 결과

연구 질문

• RQ1 브라스앰프-라이블 부등식과 상대 엔트로피의 하위가환성 간의 이중성은 랜덤(스토케스틱) 변환을 포함하도록 확장될 수 있는가?
• RQ2 정보이론적 BL 부등식의 이중성은 자연스럽게 데이터 처리, 텐서화, 볼록성 등의 성질을 암시하는가?
• RQ3 이러한 이중성 프레임워크를 통해 가우시안 소스에 대한 다변량 와이너 공통정보를 정확히 특성화할 수 있는가?
• RQ4 다중 액세스 채널을 통해 모델링할 경우, 역브라스앰프-라이블 부등식은 어떻게 일반화되는가?
• RQ5 이 정보이론적 이중성 하에서, 가우시안 분포는 기능적 부등식의 최적화에서 어떤 역할을 하는가?

주요 결과

• 논문은 $m$개의 가우시안 스칼라 랜덤 변수가 공분산 행렬 $\mathbf{\Sigma}$를 가질 때, 그들의 다변량 와이너 공통정보가 $\frac{1}{2}\inf_{\bf\Lambda}\log\frac{|\mathbf{\Sigma}|}{|\bf\Lambda|}$ 임을 증명한다. 여기서 $\bf\Lambda$ 는 $\bf\Lambda\preceq\Sigma$ 를 만족하는 대각행렬들이다.
• 정보이론적 이중성의 결과로 다변량 넬슨 초수렴성 정리가 도출되며, 이는 고전적 결과를 다변수로 확장한 것이다.
• 역브라스앰프-라이블 부등식은 다중 액세스 채널을 통해 재구성되며, 채널이 단사적일 경우 바르테의 원래 수식에서 'sup' 연산이 사라진다.
• MAC가 점대점 채널로 축소될 경우, 강력한 데이터 처리 부등식은 일반화된 역브라스앰프-라이블 부등식의 특수한 경우로 복원된다.
• 공통정보 및 초수렴성과 관련된 정보이론적 최적화 문제들에 대해, 여러 경우에서 가우시안 최적성이 입증된다.
• 이 프레임워크는 역부등식의 최적 상수 값이 커플링과 상대 엔트로피에 대한 최적화 문제로 특성화됨을 증명하며, 바르테의 결과를 스토케스틱 채널로 일반화한다.