[논문 리뷰] The Entropy Power Inequality and Mrs. Gerber's Lemma for Abelian Groups of Order 2^n

Varun Jog, Venkat Anantharam|arXiv (Cornell University)|2012. 07. 26.

Wireless Communication Security Techniques참고 문헌 7인용 수 6

한 줄 요약

이 논문은 순서 $2^n$인 유한 아벨 군에 대해 엔트로피 파wer 부등식(EPI)과 마스터스 제르버의 보조정리의 이산적 해당을 수립한다. 고정된 엔트로피를 가진 독립적인 군가치 랜덤 변수들의 합의 최소 엔트로피를 특성화하며, 이 함수가 각각의 변수에 대해 볼록임을 증명하고 이는 이진 엔트로피 함수를 통해 재귀적으로 구성됨을 보이며, 연속적인 경우의 가우시안 유사 최적성 구조를 유한 아벨 군으로 일반화한다.

ABSTRACT

Shannon's Entropy Power Inequality can be viewed as characterizing the minimum differential entropy achievable by the sum of two independent random variables with fixed differential entropies. The entropy power inequality has played a key role in resolving a number of problems in information theory. It is therefore interesting to examine the existence of a similar inequality for discrete random variables. In this paper we obtain an entropy power inequality for random variables taking values in an abelian group of order 2^n, i.e. for such a group G we explicitly characterize the function f_G(x,y) giving the minimum entropy of the sum of two independent G-valued random variables with respective entropies x and y. Random variables achieving the extremum in this inequality are thus the analogs of Gaussians in this case, and these are also determined. It turns out that f_G(x,y) is convex in x for fixed y and, by symmetry, convex in y for fixed x. This is a generalization to abelian groups of order 2^n of the result known as Mrs. Gerber's Lemma.

연구 동기 및 목표

• 순서 $2^n$인 유한 아벨 군에 대해 엔트로피 파워 부등식과 마스터스 제르버의 보조정리를 확장하기 위해.
• 고정된 개별 엔트로피를 가진 독립적인 $G$-값을 가진 랜덤 변수들의 합에서 달성 가능한 최소 엔트로피를 특성화하기 위해.
• 이 최소를 달성하는 극값 분포를 특정하기 위해. 이는 연속적인 경우의 가우시안과 유사하다.
• 다른 변수들이 고정되었을 때 각 변수에 대해 결과 엔트로피 함수가 볼록임을 증명하기 위해.
• 이 이산적 맥락에서 두 개 이상의 변수의 합에 대해 마스터스 제르버의 보조정리의 구조를 일반화하기 위해.

제안 방법

• 순서가 $2^n$인 아벨 군 $G$일 때, 엔트로피가 각각 $x$와 $y$인 두 개의 독립적인 $G$-값을 가진 랜덤 변수들의 합의 최소 엔트로피를 $f_G(x,y)$로 정의한다.
• 엔트로피와 군의 구조적 성질을 이용하여, 고정된 $y$에 대해 $f_G(x,y)$가 $x$에 대해 볼록이며, 대칭적으로 $y$에 대해서도 볼록임을 증명한다.
• 재귀적 구조 수립: $k$개의 독립적인 $G$-값을 가진 변수들의 합의 최소 엔트로피는 두 변수 경우에서 시작하여 $f_G(x,y)$를 반복 적용함으로써 얻어진다.
• 순서가 $2^{m+1}$인 군과 그 부분군 위에서 코셋 기반 분포를 구성함으로써, 하한에 도달하는 극값 분포를 만든다.
• 특히, 부분군의 코셋 위에서 일정한 분포가 두 변수 경우에서 등호를 만족함을 이용한다.
• 귀납법과 구조적 분해를 적용하여 두 변수에서 $k$개의 변수로 결과를 확장하며, 최소 엔트로피가 $f_G$의 중첩 적용에 의해 달성됨을 증명한다.

실험 결과

연구 질문

• RQ1 순서가 $2^n$인 아벨 군 $G$일 때, 엔트로피가 고정된 두 개의 독립적인 $G$-값을 가진 랜덤 변수들의 합의 최소 엔트로피는 무엇인가? 이때 엔트로피는 각각 $x$와 $y$이다.
• RQ2 마스터스 제르버의 보조정리의 구조는 순서가 $2^n$인 유한 아벨 군으로 일반화될 수 있는가?
• RQ3 독립적인 $G$-값을 가진 랜덤 변수들의 합에서 최소 엔트로피를 달성하는 극값 분포는 무엇인가?
• RQ4 다른 변수들이 고정되었을 때, 최소 엔트로피 함수 $f_G(x_1, \ldots, x_k)$는 각 변수에 대해 볼록한가?
• RQ5 순서가 $2^n$인 유한 아벨 군의 $k$개의 독립적인 $G$-값을 가진 랜덤 변수들의 합의 최소 엔트로피는 그들의 개별 엔트로피에 따라 어떻게 달라지는가?

주요 결과

• 엔트로피가 각각 $x$와 $y$인 두 개의 독립적인 $G$-값을 가진 랜덤 변수들의 합의 최소 엔트로피는 $f_G(x,y)$로 주어지며, 이는 각 변수에 대해 볼록하다.
• 이 최소를 달성하는 극값 분포는 $G$의 지수 2인 부분군의 코셋 위에서 일정한 분포이며, 이는 연속적인 경우의 가우시안의 역할을 일반화한다.
• $k$개의 독립적인 $G$-값을 가진 랜덤 변수들의 엔트로피가 각각 $x_1, \ldots, x_k$일 때, 최소 합 엔트로피는 $f_G(x_1, f_G(x_2, \ldots, f_G(x_{k-1}, x_k) \ldots))$로 주어지며, 이는 이진 함수의 중첩 적용이다.
• 함수 $f_G(x_1, \ldots, x_k)$는 다른 변수들이 고정되었을 때 각 변수에 대해 볼록하며, 이는 $f_G(x,y)$의 조각별 구조와 성질을 통해 증명된다.
• 결과적으로 마스터스 제르버의 보조정리는 순서가 $2^n$인 아벨 군으로 일반화되며, 합의 엔트로피가 재귀적으로 정의된 볼록 함수에 의해 아래로 제한됨을 보여준다.
• 최소 엔트로피는 부분군의 사슬 위에서 코셋 기반으로 구조화된 분포일 때 달성되며, 군의 대칭성과 엔트로피 제약 조건을 통해 극값성이 보장된다.