[논문 리뷰] Non-asymptotic Equipartition Properties for Independent and Identically Distributed Sources

Enhui Yang, Jin Meng|arXiv (Cornell University)|2012. 04. 16.

Wireless Communication Security Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 i.i.d. 소스에 대해 비점근적 등분할 성질(NEP)을 수립하여 유한 블록길이에서의 경험 로그우도 $-\frac{1}{n}\ln p(X_1^n)$의 분포를 특성화함으로써 정밀한 비점근적 소스 코딩 경계를 가능하게 한다. 주요 결과는 오차 확률이 $\Theta(n^{-\alpha}/\sqrt{\ln n})$일 때, 최소 고정 레이트 코드 레이트가 $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$임을 보여주며, 여기서 $\sigma_H^2(X)$는 정보 분산이다.

ABSTRACT

Given an independent and identically distributed source $X = \{X_i \}_{i=1}^{\infty}$ with finite Shannon entropy or differential entropy (as the case may be) $H(X)$, the non-asymptotic equipartition property (NEP) with respect to $H(X)$ is established, which characterizes, for any finite block length $n$, how close $-{1\over n} \ln p(X_1 X_2...X_n)$ is to $H(X)$ by determining the information spectrum of $X_1 X_2...X_n $, i.e., the distribution of $-{1\over n} \ln p(X_1 X_2...X_n)$. Non-asymptotic equipartition properties (with respect to conditional entropy, mutual information, and relative entropy) in a similar nature are also established. These non-asymptotic equipartition properties are instrumental to the development of non-asymptotic coding (including both source and channel coding) results in information theory in the same way as the asymptotic equipartition property to all asymptotic coding theorems established so far in information theory. As an example, the NEP with respect to $H(X)$ is used to establish a non-asymptotic fixed rate source coding theorem, which reveals, for any finite block length $n$, a complete picture about the tradeoff between the minimum rate of fixed rate coding of $X_1...X_n$ and error probability when the error probability is a constant, or goes to 0 with block length $n$ at a sub-polynomial, polynomial or sub-exponential speed. With the help of the NEP with respect to other information quantities, non-asymptotic channel coding theorems of similar nature will be established in a separate paper.

연구 동기 및 목표

• 비점근적 등분할 성질(NEP)을 i.i.d. 소스에 대해 개발하여 점근적 등분할 성질(AEP)의 유한 블록길이 대응체로 삼는 것.
• 유한 $n$에 대해 $-\frac{1}{n}\ln p(X_1^n)$의 분포를 특성화하여 소스 및 채널 코딩의 비점근적 분석을 가능하게 하는 것.
• 오차 확률과 코드 레이트 사이의 상호관계를 다수의 오차 감쇠 영역에서 정량화하는 비점근적 고정 레이트 소스 코딩 정리 수립.
• NEP를 조건부 엔트로피, 상호정보량, 상대엔트로피로 확장하여 비점근적 정보이론에서의 광범위한 적용 가능성을 높이는 것.

제안 방법

• 유한 엔트로피 $H(X)$를 가진 i.i.d. 소스에 대해 $-\frac{1}{n}\ln p(X_1^n)$의 정보 스펙트럼을 유도하며, 농도 부등식과 대규모 편차 기법을 사용한다.
• 중앙극한정리와 에드워드워스 전개를 적용하여 $H(X)$ 주변에서 $-\frac{1}{n}\ln p(X_1^n)$의 분포를 근사하며, 정보 분산 $\sigma_H^2(X)$를 포함한다.
• NEP를 사용하여 고정 레이트 소스 코딩에서 오차 확률을 유한 블록길이에서 바운딩하며, 엔트로피율에서의 로그우도 편차를 분석한다.
• 오차 확률 $\epsilon_n(\delta)$가 주어진 감쇠 속도와 일치하도록 하는 $\delta$를 구함으로써 최소 코드 레이트 $R_n(\epsilon_n)$에 대한 날카운 경계를 수립한다.
• 비율-왜곡 트레이드오프를 모델링하기 위해 함수 $r_X(\delta)$를 도입하고, 주어진 오차 확률에 대한 최소 레이트에 대한 경계를 정밀화하는 데 사용한다.
• 다양한 오차 감쇠 영역 분석: 상수, 다항식 $n^{-\alpha}$, 부분다항식 $n^{-\alpha}/\sqrt{\ln n}$, 지수 감쇠보다 느린 $e^{-n^\alpha}$, 각각에 대해 명시적인 표현을 유도한다.

실험 결과

연구 질문

• RQ1 정보 스펙트럼 $-\frac{1}{n}\ln p(X_1^n)$을 사용하여 점근적 등분할 성질(AEP)을 어떻게 비유한 블록길이로 확장할 수 있는가?
• RQ2 i.i.d. 소스에 대한 고정 레이트 소스 코딩에서 코드 레이트와 오차 확률 사이의 정밀한 비점근적 트레이드오프는 무엇인가?
• RQ3 오차 확률이 $n^{-\alpha}/\sqrt{\ln n}$로 감쇠할 때, $0 < \alpha < 1$인 경우 최소 코드 레이트는 블록길이 $n$에 따라 어떻게 스케일링되는가?
• RQ4 NEP 프레임워크를 비점근적 채널 코딩에 적용하기 위해 조건부 엔트로피와 상호정보량으로 확장할 수 있는가?
• RQ5 오차 확률이 상수이거나 0.5를 초과할 경우 최소 코드 레이트의 행동은 어떻게 되며, 이는 점근적 이론에서의 통찰과 어떻게 다를까?

주요 결과

• 오차 확률이 $\Theta(n^{-\alpha}/\sqrt{\ln n})$일 때, 최소 고정 레이트 코드 레이트는 $H(X) + \sqrt{\sigma_H^2(X) \cdot 2\alpha} \sqrt{\ln n / n} + O(\ln n / n)$이며, 여기서 $\sigma_H^2(X)$는 소스의 정보 분산이다.
• 오차 확률이 $n^{-\alpha}$로 감쇠하고 $\alpha \geq 1$일 경우, 최소 레이트는 $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$이며, 이는 $\alpha$에 대한 날카운 의존성을 보여준다.
• 지수 감쇠보다 느린 $e^{-n^\alpha}$ 감쇠 영역($0 < \alpha < 1$)에서는 최소 레이트가 $H(X) + \sqrt{2\alpha \sigma_H^2(X)} \sqrt{\ln n / n} + O(\ln n / n)$이며, 이는 $\sqrt{\ln n / n}$ 항이 레이트 페널티를 지배함을 시사한다.
• 오차 확률이 상수 $\epsilon > 0.5$일 경우, 유한 $n$에 대해 최소 코드 레이트 $R_n(\epsilon_n)$는 $H(X)$보다 엄밀히 작을 수 있으며, 이는 점근적 이론에서의 통찰과 배치된다.
• NEP 프레임워크를 통해 모든 감쇠 영역(부분다항식 및 다항식 포함)에서 레이트-오차 트레이드오프를 완전히 특성화할 수 있으며, 역 Q-함수와 농도 부등식을 통해 명시적인 경계가 도출된다.
• 분석 결과, 레이트 표현에서 $O(\ln n / n)$ 항은 피할 수 없으며, 이는 로그우도 분포의 에드워드워스 전개에서 두 번째 보정 항에서 기인한다.