[論文レビュー] Linear Bounds between Contraction Coefficients for $f$-Divergences

Anuran Makur, Lizhong Zheng|arXiv (Cornell University)|Oct 7, 2015

Wireless Communication Security Techniques参考文献 47被引用数 12

ひとこと要約

本稿では、χ²-発散の収縮係数を用いて、f-発散のうち特定のクラスについて線形上界を確立し、特定の条件下でその上界がタイトであることを証明している。さらに、加法的ガウスノイズを持つガウス源に対して、KL発散とχ²発散の収縮係数が等しいことを示し、非線形作用素凸f-発散のすべてのクラスにおける「よりノイジーでない」チャネル順序の同等性を一般化している。

ABSTRACT

Data processing inequalities for $f$-divergences can be sharpened using constants called "contraction coefficients" to produce strong data processing inequalities. For any discrete source-channel pair, the contraction coefficients for $f$-divergences are lower bounded by the contraction coefficient for $χ^2$-divergence. In this paper, we elucidate that this lower bound can be achieved by driving the input $f$-divergences of the contraction coefficients to zero. Then, we establish a linear upper bound on the contraction coefficients for a certain class of $f$-divergences using the contraction coefficient for $χ^2$-divergence, and refine this upper bound for the salient special case of Kullback-Leibler (KL) divergence. Furthermore, we present an alternative proof of the fact that the contraction coefficients for KL and $χ^2$-divergences are equal for a Gaussian source with an additive Gaussian noise channel (where the former coefficient can be power constrained). Finally, we generalize the well-known result that contraction coefficients of channels (after extremizing over all possible sources) for all $f$-divergences with non-linear operator convex $f$ are equal. In particular, we prove that the so called "less noisy" preorder over channels can be equivalently characterized by any non-linear operator convex $f$-divergence.

研究の動機と目的

• f-発散の収縮係数とχ²-発散係数との間の線形上界を確立すること。
• 特にカルバック・ライブラーマン（KL）発散に対してこれらの上界を精緻化すること。
• 加法的ガウスノイズチャネルを介したガウス源に対して、KL発散とχ²発散の収縮係数が等しいことを証明すること。
• 非線形作用素凸f-発散のすべてのクラスにわたって、「よりノイジーでない」チャネル順序の同等性を一般化すること。

提案手法

• 2階テイラー展開と凸性の性質を用いて、f-発散とχ²-発散の間の境界を導出する。
• 負シャノンエントロピー関数の強い凸性を適用し、全変動に関する二次項でKL発散の下界を評価する。
• テンソル化技術を用いて、積空間およびマルコフ連鎖にわたる境界の拡張を行う。
• 凸解析とブレグマン発散の性質を用いて、ガウス設定下でのKL-χ²同等性を証明する。
• 非線形作用素凸f-発散の収縮係数が等しいという既知の結果を一般化し、『よりノイジーでない』順序による同等性を証明する。
• 負エントロピー関数のヘッシアンを用いて、χ²-発散を用いたKL発散の下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 f-発散の収縮係数は、χ²-発散係数を用いて線形的に上界で抑えられるか？
• RQ2 χ²係数を用いた場合に、KL発散に対して最もタイトな線形上界は何か？
• RQ3 加法的ガウスノイズチャネルを介したガウス源に対して、KL発散とχ²発散の収縮係数は等しいか？
• RQ4 任意の非線形作用素凸f-発散を用いて、「よりノイジーでない」チャネル順序を同等に特徴づけられるか？
• RQ5 入力のf-発散が0に近づく際、χ²係数による収縮係数の下界はタイトになるか？

主な発見

• 考察対象のクラスに属する任意のf-発散の収縮係数は、χ²-発散係数の線形関数によって上界で抑えられる。
• KL発散に対しては、上界が特定の条件下でタイトであることが示された。
• 加法的ガウスノイズチャネルを介したガウス源に対して、KL発散とχ²発散の収縮係数は等しい。
• 入力f-発散が0に近づく極限において、χ²係数による収縮係数の下界が達成される。
• 「よりノイジーでない」チャネル順序は、任意の非線形作用素凸f-発散を用いて定義しても同等に特徴づけられる。
• 負シャノンエントロピーの強い凸性を用いて、χ²-発散を用いたKL発散の二次下界が導出された。