[논문 리뷰] On Exact and $\infty$-Rényi Common Informations

Lei Yu, Vincent Y. F. Tan|arXiv (Cornell University)|2018. 09. 30.

Wireless Communication Security Techniques참고 문헌 44인용 수 3

한 줄 요약

이 논문은 정확한 공통 정보와 ∞-Rényi 공통 정보의 동치성을 확립하여, 모든 연합 분포에 대해 둘이 동일하다는 것을 증명한다. 이중 대칭 이진 소스에 대해서는 단일 문자 특성화를 제공하여, 둘 다 와이너의 공통 정보보다 엄격히 크다는 것을 보여주며, Kumar, Li 및 El Gamal이 제기한 열린 문제를 해결한다.

ABSTRACT

Recently, two extensions of Wyner's common information extemdash exact and Rényi common informations extemdash were introduced respectively by Kumar, Li, and El Gamal (KLE), and the present authors. The class of common information problems involves determining the minimum rate of the common input to two independent processors needed to exactly or approximately generate a target joint distribution. For the exact common information problem, exact generation of the target distribution is required, while for Wyner's and $α$-Rényi common informations, the relative entropy and Rényi divergence with order $α$ were respectively used to quantify the discrepancy between the synthesized and target distributions. The exact common information is larger than or equal to Wyner's common information. However, it was hitherto unknown whether the former is strictly larger than the latter for some joint distributions. In this paper, we first establish the equivalence between the exact and $\infty$-Rényi common informations, and then provide single-letter upper and lower bounds for these two quantities. For doubly symmetric binary sources, we show that the upper and lower bounds coincide, which implies that for such sources, the exact and $\infty$-Rényi common informations are completely characterized. Interestingly, we observe that for such sources, these two common informations are strictly larger than Wyner's. This answers an open problem posed by KLE. Furthermore, we extend Wyner's, $\infty$-Rényi, and exact common informations to sources with countably infinite or continuous alphabets, including Gaussian sources.

연구 동기 및 목표

• 모든 연합 분포에 대해 정확한 공통 정보가 와이너의 공통 정보보다 엄격히 큰지 여부를 해결하는 것.
• 일반적인 소스에 대해 정확한 공통 정보와 ∞-Rényi 공통 정보의 단일 문자 특성화를 수립하는 것.
• 공통 정보의 정의를 가чёт한 무한 또는 연속 알파벳을 가진 소스, 예를 들어 가우시안 소스를 포함하여 확장하는 것.
• 이중 대칭 이진 소스에 대해 정확한 공통 정보와 ∞-Rényi 공통 정보가 완전히 특성화되고, 와이너의 공통 정보를 엄격히 초월한다는 것을 보여주는 것.

제안 방법

• ∞-Rényi 공통 정보를 정의하여, 오차를 ∞-순서의 Rényi 발산으로 측정할 때의 최소 공통 비트율로 정의한다.
• 모든 곱 분포에 대한 ∞-순서 Rényi 발산의 최소값으로 ∞-Rényi 공통 정보의 단일 문자 표현을 유도한다.
• 동일한 최적화 문제로 특성화됨을 보여, 정확한 공통 정보가 ∞-Rényi 공통 정보와 동일하다는 것을 증명한다.
• 목표 분포 π_XY를 곱 분포의 혼합으로 분해하여, 상한을 달성하는 타당한 커플링을 구성한다.
• ∞-순서 Rényi 발산의 최소-최대 성질을 적용하여 날카운 상한과 하한을 유도한다.
• i.i.d. 확장에 대해 ∞-Rényi 공통 정보의 가환성을 확립하여, 점근적 특성화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 모든 연합 분포에 대해 정확한 공통 정보가 와이너의 공통 정보보다 엄격히 큰가?
• RQ2 특정 소스, 예를 들어 이중 대칭 이진 소스에 대해 정확한 공통 정보를 닫힌 형태로 특성화할 수 있는가?
• RQ3 정확한 공통 정보와 ∞-Rényi 공통 정보 사이에 동치성이 존재하는가?
• RQ4 무한 또는 연속 알파벳을 가진 소스에 대해 이러한 공통 정보 측도는 어떻게 행동하는가?
• RQ5 ∞-Rényi 공통 정보의 단일 문자 특성화를 활용하여 정확한 공통 정보에 대한 날카운 상한을 유도할 수 있는가?

주요 결과

• 모든 연합 분포에 대해 정확한 공통 정보는 정확히 ∞-Rényi 공통 정보와 동일하다.
• 이중 대칭 이진 소스에 대해 정확한 공통 정보와 ∞-Rényi 공통 정보는 단일 문자 공식으로 완전히 특성화된다.
• 이중 대칭 이진 소스에 대해 정확한 공통 정보와 ∞-Rényi 공통 정보는 모두 와이너의 공통 정보보다 엄격히 크다.
• ∞-Rényi 공통 정보는 임의의 곱 분포와 목표 분포 π_XY 사이의 ∞-순서 Rényi 발산의 최소값으로 주어진다.
• 정확한 공통 정보는 i.i.d. 확장의 공통 엔트로피의 극한으로 특성화되며, ∞-Rényi 공통 정보와 동일하다.
• 발산 측도의 적절한 일반화를 통해 결과는 가чёт한 무한 또는 연속 알파벳을 가진 소스, 예를 들어 가우시안 소스로 확장된다.