[논문 리뷰] Wyner's Common Information: Generalizations and A New Lossy Source Coding Interpretation

Ge Xu, Wei Liu외 1명|arXiv (Cornell University)|2013. 01. 10.

Wireless Communication Security Techniques참고 문헌 20인용 수 18

한 줄 요약

이 논문은 임의의 알파벳을 가진 N개의 종속된 랜덤 변수로 윈너의 공통 정보를 일반화하고, 그레이나-위너 네트워크를 통한 손실성 소스 코딩을 통해 새로운 운영적 해석을 수립한다. 총 비트 전송률이 연합 비트 전송 함수에 임의로 가까워질 때, 윈너의 공통 정보가 손실 제약 조건에 관계없이 특정 영역 내에서 정의된 영역 내에서 최소 공통 메시지 전송률과 일치함을 증명한다. 이는 공통 정보와 손실성 압축 간의 근본적인 연결 고리를 제공한다.

ABSTRACT

Wyner's common information was originally defined for a pair of dependent discrete random variables. Its significance is largely reflected in, hence also confined to, several existing interpretations in various source coding problems. This paper attempts to both generalize its definition and to expand its practical significance by providing a new operational interpretation. The generalization is two-folded: the number of dependent variables can be arbitrary, so are the alphabet of those random variables. New properties are determined for the generalized Wyner's common information of N dependent variables. More importantly, a lossy source coding interpretation of Wyner's common information is developed using the Gray-Wyner network. In particular, it is established that the common information equals to the smallest common message rate when the total rate is arbitrarily close to the rate distortion function with joint decoding. A surprising observation is that such equality holds independent of the values of distortion constraints as long as the distortions are within some distortion region. Examples about the computation of common information are given, including that of a pair of dependent Gaussian random variables.

연구 동기 및 목표

• 이산 랜덤 변수 쌍에서의 윈너의 공통 정보를 임의의 알파벳을 가진 N개의 종속된 랜덤 변수로 확장한다.
• 그레이나-위너 네트워크를 활용한 손실성 소스 코딩의 맥락에서 윈너의 공통 정보에 대한 새로운 운영적 해석을 수립한다.
• 총 전송률이 연합 비트 전송 함수에 임의로 가까워질 때, 공통 정보가 최소로 달성 가능한 공통 메시지 전송률과 일치함을 보여준다.
• 이 최소 공통 전송률이 정의된 손실 제약 영역 내에 있을 경우, 그 구체적인 값에 관계없이 일정함을 보여준다.

제안 방법

• 조건부 독립성 구조를 사용하여 윈너의 공통 정보를 N개의 종속된 랜덤 변수로 일반화한다. 이는 마르코프 체인 조건과 동치이다.
• N개의 변수와 보조 변수 W 사이의 상호정보량의 하한으로 일반화된 공통 정보를 정의한다. 이때 W에 의해 조건부 독립이 성립하도록 한다.
• 그레이나-위너 소스 코딩 네트워크를 활용하여 손실성 소스 코딩의 해석을 도출한다. 이 경우 공통 메시지와 개별 메시지가 함께 전송된다.
• 공통 정보가 총 전송률이 연합 비트 전송 함수에 임의로 가까워질 때, 공동 복원 인식 하에서 최소 공통 메시지 전송률과 일치함을 증명한다.
• 제안된 특성화가 손실성 소스 코딩 분야의 이전 결과들과 등가임을 수립한다. 특히 [17]의 결과들과의 등가성을 입증한다.
• 대칭성과 최소 평균 제곱 오차(MMSE) 성질을 활용하여 이元 정규 분포 랜덤 변수 쌍의 닫힌 형태 표현식을 유도한다.

실험 결과

연구 질문

• RQ1 손실성 소스 코딩에서 다수의 소스를 고려할 때 윈너의 공통 정보의 운영적 의미는 무엇인가?
• RQ2 윈너의 공통 정보는 임의의 알파벳을 가진 N개의 종속된 랜덤 변수로 일반화될 수 있는가?
• RQ3 총 전송률이 연합 비트 전송 함수에 가까워질 때, 그레이나-위너 네트워크에서 최소 공통 메시지 전송률이 윈너의 공통 정보와 일치하는가?
• RQ4 손실 제약 조건이 특정 손실 제약 영역 내에 있을 경우, 최소 공통 메시지 전송률은 그 구체적 값에 영향을 받지 않는가?
• RQ5 공동 정규 분포 랜덤 변수 쌍의 공통 정보에 대한 닫힌 형태 표현식은 무엇인가?

주요 결과

• N개의 종속된 랜덤 변수에 대한 일반화된 윈너의 공통 정보는 조건부 독립성 구조를 통해 정의되며, 단조성과 데이터 처리 부등식 등의 핵심 성질을 만족한다.
• 그레이나-위너 네트워크에서, 총 전송률이 연합 비트 전송 함수에 임의로 가까워질 때, 윈너의 공통 정보는 손실 제약 조건의 구체적 값에 관계없이 최소 공통 메시지 전송률과 일치한다. 이는 손실 제약 조건이 정의된 영역 내에 있을 경우에만 성립한다.
• 상관계수 ρ를 가진 이원 정규 분포 랜덤 변수 쌍의 공통 정보는 정확히 $ \frac{1}{2}\log\frac{1+\rho}{1-\rho} $로 표현되며, 이는 MMSE와 비트 전송 이론을 활용하여 도출된다.
• 공통 정보는 변수의 선형 스케일링에 대해 불변이며, 정규 분포 쌍의 경우 뿐만 아니라 상관계수 ρ에 의존한다.
• 모든 손실 제약 조합 (D₁, D₂)에 대해 D₁ + D₂ ≤ 2(1 − ρ)를 만족할 경우, 최소 공통 메시지 전송률이 일정함을 보여주며, 이는 손실 제약 변화에 대한 강건성을 입증한다.
• 손실성 소스 코딩을 통한 공통 정보의 제안된 특성화는 [17]의 특성화와 등가이며, 새로운 운영적 해석의 타당성을 검증한다.