[論文レビュー] The Entropy Power Inequality and Mrs. Gerber's Lemma for Abelian Groups of Order 2^n

Varun Jog, Venkat Anantharam|arXiv (Cornell University)|Jul 26, 2012

Wireless Communication Security Techniques参考文献 7被引用数 6

ひとこと要約

本稿は、位数 $2^n$ の有限アーベル群に対して、エントロピー・パワー不等式（EPI）およびマダム・ジャーバーの補題の離散的アナログを確立する。独立な群値確率変数の和の最小エントロピーを、固定されたエントロピーを持つものとして特徴づけ、その関数が凸であり、二項エントロピー関数を用いた再帰的構造を持つことを証明する。これは、連続の場合のガウス分布に類似した最適性を有限アーベル群へ一般化するものである。

ABSTRACT

Shannon's Entropy Power Inequality can be viewed as characterizing the minimum differential entropy achievable by the sum of two independent random variables with fixed differential entropies. The entropy power inequality has played a key role in resolving a number of problems in information theory. It is therefore interesting to examine the existence of a similar inequality for discrete random variables. In this paper we obtain an entropy power inequality for random variables taking values in an abelian group of order 2^n, i.e. for such a group G we explicitly characterize the function f_G(x,y) giving the minimum entropy of the sum of two independent G-valued random variables with respective entropies x and y. Random variables achieving the extremum in this inequality are thus the analogs of Gaussians in this case, and these are also determined. It turns out that f_G(x,y) is convex in x for fixed y and, by symmetry, convex in y for fixed x. This is a generalization to abelian groups of order 2^n of the result known as Mrs. Gerber's Lemma.

研究の動機と目的

• 位数 $2^n$ の有限アーベル群へ、エントロピー・パワー不等式およびマダム・ジャーバーの補題を拡張すること。
• 固定された個々のエントロピーを持つ独立な $G$-値確率変数の和として達成可能な最小エントロピーを特徴づけること。
• 連続の場合のガウス分布に類似した極値分布が、この最小エントロピーを達成することを同定すること。
• 他の変数を固定したとき、各変数に関して最小エントロピー関数が凸であることを証明すること。
• この離散的設定において、二つ以上の変数の和へ向けたマダム・ジャーバーの補題の構造を一般化すること。

提案手法

• 位数 $2^n$ のアーベル群 $G$ に対して、エントロピーが $x$ および $y$ である独立な $G$-値確率変数の和の最小エントロピーを $f_G(x,y)$ と定義する。
• エントロピーおよび群構造の性質を用いて、$y$ を固定したときの $f_G(x,y)$ の $x$ に関する凸性、および対称的に $y$ についての凸性を証明する。
• 再帰的構造を確立する：$k$ 個の独立な $G$-値確率変数の和の最小エントロピーは、二変数の場合から始めて $f_G(x,y)$ の反復適用によって与えられる。
• $2^{m+1}$ 階の群とその部分群に沿ったコセットに基づく分布を用いて、下界に達する極値分布を構成する。
• 部分群のコセット上で定数となる分布が、二変数の場合に等号を達成することを活用する。
• 帰納法および構造的分解を用いて、二変数から $k$ 変数へと結果を拡張し、最小エントロピーが $f_G$ のネストされた適用によって達成されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 位数 $2^n$ のアーベル群 $G$ に対して、エントロピーが固定された二つの独立な $G$-値確率変数の和の最小エントロピーは何か？
• RQ2 マダム・ジャーバーの補題の構造は、位数 $2^n$ の有限アーベル群へ一般化可能か？
• RQ3 独立な $G$-値確率変数の和において、最小エントロピーを達成する極値分布は何か？
• RQ4 他の変数を固定したとき、最小エントロピー関数 $f_G(x_1, \tdots, x_k)$ は各変数に関して凸か？
• RQ5 $k$ 個の独立な $G$-値確率変数の和の最小エントロピーは、それらの個々のエントロピーにどのように依存するか？

主な発見

• エントロピーが $x$ および $y$ である二つの独立な $G$-値確率変数の和の最小エントロピーは、$f_G(x,y)$ で与えられ、各変数に関して凸である。
• この最小エントロピーを達成する極値分布は、$G$ の指数2の部分群のコセット上で定数となるものであり、連続の場合のガウス分布の役割を一般化する。
• $k$ 個の独立な $G$-値確率変数のエントロピーが $x_1, \tdots, x_k$ であるとき、最小和エントロピーは $f_G(x_1, f_G(x_2, \tdots, f_G(x_{k-1}, x_k) \tdots))$ で与えられ、二項関数のネストされた適用である。
• 関数 $f_G(x_1, \tdots, x_k)$ は、他の変数を固定したとき各変数に関して凸であることが、分(piecewise)構造および $f_G(x,y)$ の性質を用いて証明された。
• 結果として、マダム・ジャーバーの補題は位数 $2^n$ のアーベル群へ一般化され、和のエントロピーが再帰的に定義され、凸である関数によって下から抑えられることを示した。
• 最小エントロピーは、部分群の鎖に沿ったコセット上に構造化された分布によって達成され、群の対称性とエントロピー制約を通じて極値性が保証される。