[論文レビュー] An entropy inequality for symmetric random variables

Jing Hao, Varun Jog|arXiv (Cornell University)|Jan 11, 2018

Wireless Communication Security Techniques参考文献 21被引用数 3

ひとこと要約

本稿は、対称確率変数の重み付き和の微分エントロピーに対する、その連合エントロピーを用いた新たな下界を確立する。対称性と幾何的解析を用いて、n ≥ 3 の場合、この下界がタイトであるのは、かつそれがi.i.d. ガウス分布である場合に限ることを証明する。n = 2 の場合、等号はガウス分布以外のケースでも成立し、それらは完全に同定されている。この結果は線形変換へと拡張され、連合エントロピーと方向エントロピーを結ぶ新たなエントロピー不等式のクラスを提供する。

ABSTRACT

We establish a lower bound on the entropy of weighted sums of (possibly dependent) random variables $(X_1, X_2, \dots, X_n)$ possessing a symmetric joint distribution. Our lower bound is in terms of the joint entropy of $(X_1, X_2, \dots, X_n)$. We show that for $n \geq 3$, the lower bound is tight if and only if $X_i$'s are i.i.d.\ Gaussian random variables. For $n=2$ there are numerous other cases of equality apart from i.i.d.\ Gaussians, which we completely characterize. Going beyond sums, we also present an inequality for certain linear transformations of $(X_1, \dots, X_n)$. Our primary technical contribution lies in the analysis of the equality cases, and our approach relies on the geometry and the symmetry of the problem.

研究の動機と目的

• 対称確率変数の重み付き和のエントロピーに対する、その連合エントロピーを用いた下界を確立すること。
• この下界の等号成立条件を同定すること、特に n = 2 および n ≥ 3 の場合に焦点を当てる。
• この不等式を対称確率ベクトルの一般線形変換へと拡張すること。
• 対称分布および対数凹分布におけるエントロピー最大化方向に関する未解決の問題を解消すること。
• エントロピー不等式における等号成立の解析に、幾何的および対称性に基づくアプローチを提供すること。

提案手法

• 著者らは、確率変数の連合分布の対称性を用いて、密度関数に構造的制約を導出する。
• 等号成立ケースのエントロピー不等式を解析するため、幾何的および変分的技法を適用する。
• 証明は、スコア関数の対称性下での直交性を分析することに依存し、Lemma A.4 を用いて混合微分項が消えることを示す。
• 重要なステップとして、対称性の下で密度関数を周辺および条件付き成分に分解し、条件付き独立性の結果を得る。
• 特徴関数および条件付き独立性の議論（Lemmas A.5 および A.6）を用いて、モーメント条件から分布的性質を導出する。
• 正規直交行列を用いた線形変換への拡張により、不等式 (4) を介して方向エントロピーと連合エントロピーを結びつける。

実験結果

リサーチクエスチョン

• RQ1 対称確率ベクトルに対して、その和のエントロピーに対する、連合エントロピーを用いた最もタイトな下界は何か？
• RQ2 このエントロピー不等式において、等号が成立するのはいつか、特に n = 2 および n ≥ 3 の場合に。
• RQ3 方向 (1,1,…,1)/√n は、対称かつ対数凹分布においてエントロピー最大化方向であるか？
• RQ4 中心極限定理におけるエントロピーの単調増加性は、対称分布に対する方向エントロピーの境界を用いて特徴付けられるか？
• RQ5 n = 2 の場合、i.i.d. ガウス分布以外に、エントロピー不等式の等号成立が成立する完全なケースは何か？

主な発見

• n ≥ 3 の場合、エントロピー下界がタイトであるのは、かつそれがi.i.d. ガウス分布である場合に限る。
• n = 2 の場合、等号はi.i.d. ガウス分布に加え、より広いクラスの対称分布に対しても成立し、本稿ではそれが完全に同定されている。
• 正規化された和 ∑Xi/√n のエントロピー下界は h(X)/n である。ここで h(X) は連合微分エントロピーである。
• 任意の単位ベクトル a に対して、方向エントロピー h(a·X) は h(a·X) ≥ h(X)/n + log(n^{n/2} ∏ai) を満たし、これは方向 (1,…,1)/√n で最大値をとる。
• Xi の間に独立性を仮定しないで不等式が成立するため、古典的エントロピー・パワー不等式とは異なる。
• 本結果は、連合エントロピーと線形結合のエントロピーを明示的に結ぶ新たなエントロピー不等式のクラスを提供し、方向エントロピー最大化への応用を有する。