[논문 리뷰] Informational Divergence Approximations to Product Distributions

Jie Hou, Gerhard Kramer|arXiv (Cornell University)|2013. 02. 01.

Statistical Mechanics and Entropy인용 수 9

한 줄 요약

이 논문은 비정규화된 정보 거리 측도를 사용하여 목표 제품 분포를 근사하기 위해 필요한 최소 속도가, 목표 주변변량 Q_V를 갖는 공동분포를 이룰 V와 U에 대해 샤논 상호정보량 I(V;U)로 주어진다는 것을 증명한다. 이 결과는 윈너의 공통 정보와 한-버르두의 복원 가능성 결과를 일반화하여, 비정규화된 거리 최소화의 기본 한계로 상호정보량이 작용함을 보이며, 인코더가 균일한 입력 분포를 갖지 않을 경우에도 성립함을 보여준다.

ABSTRACT

The minimum rate needed to accurately approximate a product distribution based on an unnormalized informational divergence is shown to be a mutual information. This result subsumes results of Wyner on common information and Han-Verdú on resolvability. The result also extends to cases where the source distribution is unknown but the entropy is known.

연구 동기 및 목표

• 비정규화된 정보 거리 측도를 사용하여 목표 제품 분포를 근사하기 위해 필요한 최소 속도를 규명하는 것.
• 비정규화된 거리 최소화에서 상호정보량이 기본 속도 한계임을 보여줌으로써 이전의 복원 가능성 및 공통 정보 결과를 통합하고 일반화하는 것.
• 균일한 입력 분포를 가정하는 대신, 비균일한 입력 분포를 사용하는 경우로 분석을 확장하는 것.
• 목표 분포와 근사 분포 사이의 비정규화된 정보 거리가 임의로 작아질 수 있도록 상호정보량 속도가 필수적이고 동시에 충분함을 보여주는 것.
• 유형성 기반 증명과 갈라거의 오차 지수 방법을 이용한 두 가지 증명을 제시함으로써 결과의 이론적 기반을 강화하는 것.

제안 방법

• 균일한 랜덤 변수 W ∈ {1,…,M} 이 결정적 함수 f 를 통해 시퀀스 U^n 으로 인코딩되며, M = 2^{nR} 이다.
• U^n 에서부터 메모리 없는 채널 Q^{n}_{V|U} 를 통해 V^n 이 생성되며, 이로 인해 발생하는 출력 분포 P_{V^n} 이 목표 Q^n_V 와 근사되어야 한다.
• 비정규화된 정보 거리 D(P_{V^n} || Q^n_V) 가 충분히 큰 n 에서 임의로 작아질 수 있으면, 속도 R 를 달성 가능하다고 정의한다.
• 샤논의 유형성 추론을 적용하여, 공동분포 Q_{UV} 가 Q_V 를 주변분포로 갖는 조건 하에서 R > I(V;U) 이면 n 이 증가함에 따라 거리가 0으로 수렴함을 보여준다.
• 갈라거의 오차 지수 방법을 활용하여 비정규화된 거리에 대한 상한을 도출하며, 이는 랜덤 코딩 지수 E^n_0(ρ, Q^{n}_{UV}) 를 통해 유도되며, 이후 ρ 에 대해 최적화된다.
• 0 ≤ x ≤ 1 인 경우 (a+b)^x ≤ a^x + b^x 와 기대값 및 독립성의 성질을 이용한 부등식을 적용하여 거리 표현식을 유계화하고 지수적 감쇠를 보여준다.

실험 결과

연구 질문

• RQ1 근사 분포 P_{V^n} 와 목표 제품 분포 Q^n_V 사이의 비정규화된 정보 거리가 임의로 작아지도록 하기 위해 필요한 최소 속도 R 는 얼마인가?
• RQ2 이전 연구에서 균일한 입력을 가정한 것과 달리, 인코더 입력이 비균일한 경우에도 상호정보량 I(V;U) 가 여전히 기본 속도 한계로 유지되는가?
• RQ3 원천 분포가 알려져 있지 않지만 엔트로피는 알려져 있을 경우 이 결과를 어떻게 확장할 수 있으며, 이는 속도 요구 조건에 어떤 영향을 미치는가?
• RQ4 유형성 및 갈라거의 오차 지수 방법은 비정규화된 거리 최소화의 달성 가능성 및 역방향 한계를 증명하는 데 어떻게 비교될 수 있는가?
• RQ5 블록 길이 n 이 매우 클 때, 비정규화된 거리가 임의로 작아지도록 하기 위해 상호정보량 표현 I(V;U) 가 필수적이고 동시에 충분한가?

주요 결과

• 비정규화된 정보 거리에 의한 목표 제품 분포 Q_V 근사화에 있어서 최소 달성 가능한 속도 R 는 I(V;U) 이며, 여기서 I(V;U) 는 주변분포 Q_V 를 갖는 공동분포 Q_{UV} 를 기준으로 계산된다. 또한 |supp(Q_U)| ≤ |V| 이다.
• 모든 공동분포 Q_{UV} 에 대해 R < I(V;U) 이면 속도 R 는 달성 불가능하며, 이는 역방향을 증명하고 상호정보량이 정확한 기본 한계임을 입증한다.
• 이 결과는 윈너의 공통 정보 및 한-버르두의 복원 가능성 결과를 포함하며, 정규화된 거리나 변동 거리 외에도 비정규화된 거리에서 상호정보량이 최소 속도임을 보여줌으로써 일반화된다.
• 갈라거의 오차 지수를 통한 증명은 거리가 블록 길이 n 에 따라 지수적으로 감쇠함을 보이며, 지수는 E^n_0(ρ, Q^{n}_{UV}) ≤ log₂(1 + 2^{n(E_G(R,Q_{UV}) + ρR)}) 로 유계화되며, R > I(V;U) 일 때 지수 감쇠가 발생한다.
• 이 분석은 인코더가 비균일한 입력 분포를 사용하는 경우에도 성립하므로, 이전 연구에서 균일한 입력을 가정한 결과를 확장한다.
• 이 경계는 날카롭다: R > I(V;U) 이면, 기대 거리 D(P_{V^n} || Q^n_V) 는 n → ∞ 일 때 0으로 수렴하며, 상호정보량 속도의 달성 가능성을 확인한다.