[論文レビュー] Reversals of Rényi Entropy Inequalities under Log-Concavity

James Melbourne, Tomasz Tkocz|arXiv (Cornell University)|May 21, 2020

Spectral Theory in Mathematical Physics参考文献 37被引用数 5

ひとこと要約

本稿は、ℤ 上の離散的対数凸確率変数に対して鋭い Rényi エントロピーの逆転を確立し、α 階の Rényi エントロピーと最小エントロピーとの差が log(α^{1/(α−1)} ) で有界であることを証明している。等号は両側幾何分布の極限で達成される。連続的結果を、主要化と Schur 凹性を用いて離散的設定に拡張し、最適定数を伴う離散的エントロピー的 Rogers-Shephard 不等式の類似を導出している。

ABSTRACT

We establish a discrete analog of the Rényi entropy comparison due to Bobkov and Madiman. For log-concave variables on the integers, the min entropy is within log e of the usual Shannon entropy. Additionally we investigate the entropic Rogers-Shephard inequality studied by Madiman and Kontoyannis, and establish a sharp Rényi version for certain parameters in both the continuous and discrete cases

研究の動機と目的

• 対数凸分布に対して既知の連続的状況における Rényi エントロピーの逆転不等式の離散的類似を確立すること。
• 整数値をとる対数凸確率変数について、α 階と最小エントロピーとの間の Rényi エントロピー差の鋭さを解明すること。
• 離散的設定において、任意の順序の Rényi エントロピーに対するエントロピー的 Rogers-Shephard 不等式を拡張すること。
• Rényi エントロピー差の極値をとる列が、p→0 の極限で二重幾何分布であることを証明すること。
• 一般の対数凸変数に対して離散的状況では極値が存在しないこと（連続的状況では指数分布がエントロピー差を極値化するのとは対照的に）を示すこと。

提案手法

• 主要化理論を用いて、ℤ 上の任意の対数凸分布が、同じ ∞-Rényi エントロピーを持つ二重幾何分布を支配することを示す。
• Rényi エントロピーの Schur 凹性を活用し、問題を二重幾何分布上での明示的計算に還元する。
• 列の対数凸性を用いて、離散的 Prékopa-Leindler 不等式の類似を適用し、エントロピー順序を保存する。
• p→0 の極限における幾何確率変数の極限を用いて、鋭い定数 log(α^{1/(α−1)}) を導出する。
• 連続的証明戦略を適応し、連続的エントロピー不等式を離散的類似に置き換えることで、離散的エントロピー的 Rogers-Shephard 不等式を確立する。
• i.i.d. 幾何分布 X_p, Y_p に対して、H_α(X_p - Y_p) - H_α(X_p) の極限を計算することで鋭さを検証し、log 2 を得る。

実験結果

リサーチクエスチョン

• RQ1 ℤ 上の離散的対数凸確率変数 X に対して、H_α(X) - H_∞(X) の鋭い上界は何か？ そして、それは達成されるか？
• RQ2 連続的 Rényi エントロピーの逆転不等式を、最適定数を伴って離散的設定に拡張できるか？
• RQ3 任意の順序の Rényi エントロピーに対する離散的類似のエントロピー的 Rogers-Shephard 不等式は何か？
• RQ4 Rényi エントロピー差の離散的極値は存在するか？ もし存在しないなら、どの列が鋭い定数を与えるか？
• RQ5 離散的状況における Rényi エントロピー差の振る舞いは、連続的状況と比べてどのように異なるか？ 特に、極値と定数の観点から。

主な発見

• ℤ 上の任意の対数凸確率変数 X に対して、H_α(X) - H_∞(X) は log(α^{1/(α−1)}) より厳密に小さいが、両側幾何分布の極限で等号に近づく。
• i.i.d. 幾何分布 X_p, Y_p を用いた p→0 の極限において、鋭い定数 log(α^{1/(α−1)}) が達成される。
• 離散的エントロピー的 Rogers-Shephard 不等式は、H_α(X−Y) - H_α(X) < log c(α) と表され、c(α) = α^{1/(α−1)} (α ≤ 2 の場合) および 2α^{1/(α−1)} (α > 2 の場合) である。
• α = 2 および α = ∞ の場合、不等式は鋭く、幾何分布の極限で等号に近づく。
• α = 1 (Shannon エントロピー) の場合、不等式は H(X−Y) - H(X) < log e に簡略化され、これは鋭く、既知の連続的結果と一致する。
• 離散的状況における極値をとる列は二重幾何分布であるが、連続的状況では指数分布が極値をとるのとは対照的である。