[논문 리뷰] The Common Information of N Dependent Random Variables

Wei Liu, Ge Xu외 1명|arXiv (Cornell University)|2010. 10. 18.

Wireless Communication Security Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 두 개의 종속된 랜덤 변수에서 N개의 종속된 랜덤 변수로 윈너의 공통 정보를 일반화하며, 두 개의 코딩 정리를 통해 운영적 의미를 확립한다: N개의 디코더를 가진 일반화된 그레이-윈너 소스 네트워크와 공통 랜덤성 생성 모델. 주요 기여는 N개의 변수의 공통 정보가, 연합 소스와 공통 보조 변수 간의 최소 상호정보량으로 정의될 때, 이는 두 변수 경우와 동일한 운영적 해석을 유지함을 증명하는 것이다.

ABSTRACT

This paper generalizes Wyner's definition of common information of a pair of random variables to that of $N$ random variables. We prove coding theorems that show the same operational meanings for the common information of two random variables generalize to that of $N$ random variables. As a byproduct of our proof, we show that the Gray-Wyner source coding network can be generalized to $N$ source squences with $N$ decoders. We also establish a monotone property of Wyner's common information which is in contrast to other notions of the common information, specifically Shannon's mutual information and Gács and Körner's common randomness. Examples about the computation of Wyner's common information of $N$ random variables are also given.

연구 동기 및 목표

• 윈너의 공통 정보 정의를 두 개의 랜덤 변수에서 N개의 종속된 랜덤 변수로 확장하는 것.
• 코딩 정리를 통해 일반화된 공통 정보의 운영적 의미를 확립하는 것.
• N개의 변수의 공통 정보가 변수 수에 대해 단조성을 보이며, 상호정보량과 가츠-쾨른러 공통 랜덤성과 같은 다른 개념들과 대비되는지 증명하는 것.
• 그레이-윈너 소스 코딩 네트워크를 N개의 소스와 N개의 디코더로 일반화하는 것.
• 계산 가능한 예시를 제공하고 일반화된 공통 정보에 대한 경계를 설정하는 것.

제안 방법

• N개의 랜덤 변수의 공통 정보를 $ C(X_1, \bar{X}_2, \bar{X}_N) = \min_{W} I(X_1X_2\cdots X_N; W) $로 정의하며, 여기서 $ X_i \rightarrow W \rightarrow X_j $ 는 모든 $ i \neq j $ 에 대해 마르코프 체인을 이룬다.
• 일반화된 그레이-윈너 네트워크를 통해 구현 가능성을 증명하며, 공통 메시지 $ W_0 $ 와 개별 메시지 $ W_1, \dots, W_N $ 를 포함한다. $ R_0 \geq I(X_1\cdots X_N; W) $ 와 $ R_i \geq H(X_i|W) $ 를 만족하는 비율이 구현 가능하다는 것을 보인다.
• 판별 경계를 도출하기 위해 파노의 부등식과 마르코프 체인 제약 조건을 사용한다. 임의의 구현 가능한 비율 튜플은 각 $ i $ 에 대해 $ R_0 \geq I(X_1\cdots X_N; W) $ 와 $ R_i \geq H(X_i|W) $ 를 만족해야 한다는 것을 보인다.
• 시간 공유와 기수 제약 기법을 사용하여 보조 변수 $ W $ 가 최대 $ \max_{i} |\mathcal{X}_i| + 1 $ 의 유한 알파벳으로 제한될 수 있음을 보인다.
• 두 운영 모델 간의 동등성을 증명한다: (1) N개의 디코더를 가진 소스 코딩과 (2) 공통 입력 $ W $ 를 통한 공통 랜덤성 생성. 둘 다 동일한 비율 $ C(X_1, \dots, X_N) $ 을 도출함을 보인다.
• 데이터 처리 부등식과 엔트로피 및 상호정보량의 체인 규칙을 포함한 표준 정보이론 도구를 적용한다.

실험 결과

연구 질문

• RQ1 윈너의 두 랜덤 변수에 대한 공통 정보는 어떻게 N개의 종속된 랜덤 변수로 일반화될 수 있는가?
• RQ2 윈너의 공통 정보의 두 운영적 해석—소스 코딩과 공통 랜덤성 생성—은 N변수 경우로 확장될 수 있는가?
• RQ3 N개의 랜덤 변수의 공통 정보는 변수 수에 대해 단조성을 보이며, 상호정보량과 가츠-쾨른러 공통 랜덤성과 같은 다른 개념들과 비교해 어떻게 다를까?
• RQ4 그레이-윈너 네트워크는 N개의 소스와 N개의 디코더를 지원하도록 일반화될 수 있으며, 가용 비율 영역은 무엇인가?
• RQ5 N개의 랜덤 변수에 대한 공통 정보를 계산하는 명시적 예시는 무엇이며, 기존의 경우와 비교해 어떻게 다를까?

주요 결과

• 일반화된 공통 정보 $ C(X_1, \dots, X_N) $ 는 $ \min_W I(X_1\cdots X_N; W) $ 로 정의되며, 여기서 $ W $ 는 $ X_i $ 들 간의 조건부 독립성을 유도한다.
• N개의 변수의 공통 정보는 단조성을 가진다: 변량 분포가 고정되어 있을 경우 변수 수가 증가함에 따라 감소하지 않는다.
• 공통 정보의 운영적 의미가 유지된다: 일반화된 그레이-윈너 네트워크에서 N개의 디코더가 신뢰성 있게 재구성하기 위해 필요한 최소 비율 $ R_0 $ 은 $ C(X_1, \dots, X_N) $ 와 같다.
• 공통 입력 $ W $ 를 사용하는 공통 랜덤성 생성 모델도 동일한 최소 비율 $ R_0 = C(X_1, \dots, X_N) $ 을 달성하며, 운영적 동등성을 입증한다.
• 만약 $ X_i = (X_i', V) $ 이고 $ X_j = (X_j', V) $ 이며 $ X_i', X_j', V $ 가 상호 독립일 경우, $ C(X_1, \dots, X_N) = H(V) $ 가 되며, 이는 상호정보량과 가츠-쾨른러 공통 랜덤성과 일치한다.
• 역 증명을 통해 임의의 구현 가능한 비율 튜플은 $ R_0 \geq I(X_1\cdots X_N; W) $ 와 $ R_i \geq H(X_i|W) $ 를 만족해야 하며, 이는 경계의 날카로움을 확인한다.