[論文レビュー] The Ruzsa divergence for random elements in locally compact abelian groups.

Mokshay Madiman, Ioannis Kontoyiannis|arXiv (Cornell University)|Aug 17, 2015

Wireless Communication Security Techniques被引用数 3

ひとこと要約

本稿では、Ruzsa散発を、R^n や複素乗法的群を含む一般の局所コンパクトアーベル群への和および差の確率変数のエントロピー不等式の拡張に中心的な道具として導入する。新たな情報理論的不等式が確立され、特に対数凹型ベクトルに対する逆エントロピー・パワー不等式や、Rogers-Shephard不等式の類似が得られ、行列式や複素確率変数への応用がある。

ABSTRACT

Over the past few years, a family of interesting new inequalities for the entropies of sums and differences of random variables has been developed by Ruzsa, Tao and others, motivated by analogous results in additive combinatorics. The present work extends these earlier results to the case of random variables taking values in $\mathbb{R}^n$ or, more generally, in arbitrary locally compact and Polish abelian groups. We isolate and study a key quantity, the Ruzsa divergence between two probability distributions, and we show that its properties can be used to extend the earlier inequalities to the present general setting. The new results established include several variations on the theme that the entropies of the sum and the difference of two independent random variables severely constrain each other. Although the setting is quite general, the result are already of interest (and new) for random vectors in $\mathbb{R}^n$. In that special case, quantitative bounds are provided for the stability of the equality conditions in the entropy power inequality; a reverse entropy power inequality for log-concave random vectors is proved; an information-theoretic analog of the Rogers-Shephard inequality for convex bodies is established; and it is observed that some of these results lead to new inequalities for the determinants of positive-definite matrices. Moreover, by considering the multiplicative subgroups of the complex plane, one obtains new inequalities for the differential entropies of products and ratios of nonzero, complex-valued random variables.

研究の動機と目的

• 離散的およびユークリッド的設定から一般の局所コンパクトアーベル群へのRuzsaとTaoのエントロピー不等式を拡張すること。
• この一般設定において、確率分布間の依存関係を分析する中心的量としてRuzsa散発を定義し、その性質を検討すること。
• この一般化された枠組みにおいて、独立な確率変数の和および差のエントロピーを関連付ける新たな不等式を確立すること。
• R^n におけるエントロピー・パワー不等式の定量的安定性バインディングを導出することと、対数凹型ベクトルに対する新たな逆形式を得ること。
• 複素平面の乗法的部分群を通じて、複素確率変数および正定値行列への応用を検討すること。

提案手法

• 局所コンパクトアーベル群上での2つの確率分布間の分離度を測る指標としてRuzsa散発を導入する。
• Ruzsa散発の性質を用いて、独立な確率変数の和および差のエントロピーを支配する不等式を導出する。
• R^n にこの枠組みを適用し、エントロピー・パワー不等式の定量的安定性バインディングを獲得する。
• Ruzsa散発の枠組みを用いて、対数凹型確率ベクトルに対する逆エントロピー・パワー不等式を証明する。
• エントロピーに基づく双対性を通じて、凸体に対するRogers-Shephard不等式の情報理論的類似を確立する。
• 複素平面の乗法的部分群を分析することで、複素確率変数の積および比の微分エントロピーに関する新たな不等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 Ruzsaのエントロピー不等式は、アーベル群を超えて一般の局所コンパクトアーベル群へどのように一般化可能か？
• RQ2 Ruzsa散発は、独立な確率変数の和および差のエントロピー関係を特徴付ける上で果たす役割は何か？
• RQ3 この枠組みを用いて、R^n におけるエントロピー・パワー不等式の等号条件を定量的に安定化できるか？
• RQ4 微分エントロピーの文脈において、Rogers-Shephardのような幾何的不等式の情報理論的類似は存在するか？
• RQ5 複素数値確率変数の積および比の微分エントロピーに関して、新たな不等式はどのようなものが得られるか？

主な発見

• R^n における対数凹型確率ベクトルに対して、逆エントロピー・パワー不等式が確立され、和のエントロピーに対する新たな下界が得られた。
• エントロピー・パワー不等式の等号ケースに対する定量的安定性バインディングが導出され、和と差のエントロピーが等号にほぼ近い状態にあるための条件が明らかになった。
• Rogers-Shephard不等式の情報理論的類似が証明され、確率ベクトルのエントロピーとその双対集合または差集合のエントロピーを関連付けるものである。
• R^n におけるエントロピーに基づく双対性を通じて、正定値行列の行列式に関する新たな不等式が得られた。
• 複素数値確率変数に関して、複素平面の乗法的部分群を分析することで、積および比の微分エントロピーに関する新たな不等式が導出された。
• Ruzsa散発が、多様な代数的および解析的設定におけるエントロピー不等式の統一と一般化に強力な道具であることが示された。