[論文レビュー] On Pinsker's Type Inequalities and Csiszar's f-divergences. Part I: Second and Fourth-Order Inequalities

Gustavo L. Gilardoni|arXiv (Cornell University)|Mar 24, 2006

Mathematical Inequalities and Applications参考文献 15被引用数 24

ひとこと要約

本稿は、変分距離 V に関する f-発散の鋭い第二および第四順序下界を確立し、最適定数 c_f および c_{4,f} を用いて D_f ≥ c_f V² + c_{4,f} V⁴ を示している。Rényi の情報利得およびタイプ (1−α) の相対的情報発散について明示的な不等式を導出し、Pinsker の不等式をより鋭い形に拡張している。

ABSTRACT

We study conditions on $f$ under which an $f$-divergence $D_f$ will satisfy $D_f \geq c_f V^2$ or $D_f \geq c_{2,f} V^2 + c_{4,f} V^4$, where $V$ denotes variational distance and the coefficients $c_f$, $c_{2,f}$ and $c_{4,f}$ are {\em best possible}. As a consequence, we obtain lower bounds in terms of $V$ for many well known distance and divergence measures. For instance, let $D_{(α)} (P,Q) = [α(α-1)]^{-1} [\int q^α p^{1-α} d μ-1]$ and ${\cal I}_α(P,Q) = (α-1)^{-1} \log [\int p^αq^{1-α} d μ]$ be respectively the {\em relative information of type} ($1-α$) and {\em Rényi's information gain of order} $α$. We show that $D_{(α)} \geq {1/2} V^2 + {1/72} (α+1)(2-α) V^4$ whenever $-1 \leq α\leq 2$, $α ot= 0,1$ and that ${\cal I}_α = \fracα{2} V^2 + {1/36} α(1 + 5 α- 5 α^2) V^4$ for $0 < α< 1$. Pinsker's inequality $D \geq {1/2} V^2$ and its extension $D \geq {1/2} V^2 + {1/36} V^4$ are special cases of each one of these.

研究の動機と目的

• f-発散 D_f に対する最適な下界を、変分距離 V の観点から導出すること。具体的には D_f ≥ c_f V² + c_{4,f} V⁴ である。
• すべての確率測度 P, Q に対して一貫して成り立つように、定数 c_f, c_{2,f}, c_{4,f} の最良の値を特定すること。
• 古典的な Pinsker の不等式（D ≥ ½ V²）およびその既知の第四順序改善形（D ≥ ½ V² + ¹⁄₃₆ V⁴）を、より広い f-発散のクラスに一般化すること。
• Rényi の情報利得やタイプ (1−α) の相対的情報発散といった代表的な発散に対して、明示的かつ鋭い下界を与えること。
• 極限的な確率測度の系列を用いて、導出された定数の最適性を確立すること。

提案手法

• f(1) = 0 を満たす凸関数 f によって生成される f-発散の枠組みを用い、D_f と変分距離 V 間の関係に注目する。
• 四次多項式 T(u) = c₄u⁴ + c₃u³ + c₂u² + c₁u + c₀ の分解技術を適用し、係数 a₄, a₂, a₀ を用いて平方和の形に表現する。
• 非負性の十分条件を用いる：a₄, a₂, a₀ が非負であれば、任意の u に対して T(u) ≥ 0 が成り立つ。
• 相対的情報発散 D_{(α)} および Rényi 発散 I_α について、係数 c_i(α) および a_i(α) の明示的表現を導出する。特に −1 ≤ α ≤ 2 の範囲で考察する。
• 記号計算と多項式分解（例：P₁₀(α) を (2−α)^m(α+1)^n で除算する）を用いて、α に関する高次多項式の非負性を証明する。
• 確率測度の系列 (P_n, Q_n) を構成することで、定数の鋭さを検証する。このとき、比 D_f / (V² + V⁴) が n → ∞ で導出された定数に収束する。

実験結果

リサーチクエスチョン

• RQ1 任意の f-発散 D_f およびすべての確率測度 P, Q に対して、D_f ≥ c_f V² + c_{4,f} V⁴ を満たす最良の定数 c_f および c_{4,f} は何か？
• RQ2 Pinsker の不等式およびその既知の第四順序改善形を、より広い f-発散のクラスに一般化する方法は何か？
• RQ3 Rényi の情報利得 I_α およびタイプ (1−α) の相対的情報発散 D_{(α)} に対して、V を用いた明示的で鋭い下界は何か？
• RQ4 極限的な確率測度の系列を用いて、このような不等式における定数の最適性を証明できるか？
• RQ5 係数解析から生じる高次多項式の非負性を厳密に確立する方法は何か？

主な発見

• −1 ≤ α ≤ 2 かつ α ≠ 0,1 のとき、タイプ (1−α) の相対的情報発散は D_{(α)} ≥ ½ V² + ¹⁄₇₂(α+1)(2−α)V⁴ を満たし、定数 ¹⁄₇₂ が最適である。
• 0 < α < 1 のとき、Rényi 発散 I_α は I_α ≥ ½α V² + ¹⁄₃₆α(1 + 5α − 5α²)V⁴ を満たし、定数 ¹⁄₃₆α(1 + 5α − 5α²) が最良である。
• α → 0 のときと α = 2 のときをそれぞれ極限として、古典的な Pinsker の不等式 D ≥ ½ V² およびその第四順序拡張 D ≥ ½ V² + ¹⁄₃₆ V⁴ が特殊ケースとして回復される。
• 多項式 P₁₀(α) = −20792743232α¹⁰ − ... + 41092635382468 は、(2−α)^3(α+1)^5、(2−α)^2(α+1)^4 など非負の因子への分解により、[−1, 2] 上で非負であることが証明された。
• 非負性の証明には、記号的操作を用いた再帰的多項式分解戦略を採用し、A(α) = (2−α)^3(α+1)^5 を選ぶことで成功した。
• 導出された境界は鋭いものであり、D_f / (V² + V⁴) → c_f + c_{4,f} (n → ∞) を満たす確率測度の系列 (P_n, Q_n) によって示された。