[論文レビュー] Bounds among $f$-divergences

Igal Sason, Sergio Verdú|arXiv (Cornell University)|Aug 3, 2015

Statistical Mechanics and Entropy参考文献 73被引用数 7

ひとこと要約

本稿は、有界な相対的情報のもとで関数的支配とモーメント不等式を用いて、相対エントロピー、カイ二乗、全変動、およびRényi発散度といったさまざまなf-発散度の間のタイトな境界を確立する。Pinskerの不等式はEγ発散度へ拡張され、相対的情報スペクトルを用いたRényi発散度の積分表現が得られ、新たな逆Pinsker型不等式が導かれる。

ABSTRACT

This paper develops methods to obtain bounds on an $f$-divergence based on one or several other $f$-divergences, dealing with pairs of probability measures defined on arbitrary alphabets. Functional domination is one such approach, where special emphasis is placed on finding the best possible constant upper bounding a ratio of $f$-divergences. Another approach used for the derivation of bounds among $f$-divergences relies on moment inequalities and the logarithmic-convexity property, which is studied in this paper to obtain tight bounds on the relative entropy and Bhattacharyya distance in terms of $\chi^2$ divergences. A rich variety of bounds are shown to hold under boundedness assumptions on the relative information. Special attention is on the total variation distance and its relation to the relative information and relative entropy, including reverse Pinsker inequalities, as well as on the $E_\gamma$ divergence, which generalizes the total variation distance. Pinsker's inequality is extended for this type of $f$-divergence, a result which leads to an inequality that links the relative entropy and relative information spectrum. Integral expressions of the R\'enyi divergence in terms of the relative information spectrum are derived, leading to bounds on the R\'enyi divergence in terms of either the variational distance or relative entropy.

研究の動機と目的

• 任意のアルファベット上での、1つのf-発散度を他のf-発散度の関数として界にする一般化された手法の開発。
• 有界な相対的情報のもとで、カイ二乗発散度とモーメント不等式を用いて、相対エントロピーとBhattacharyya距離のタイトで最適な境界の確立。
• 全変動距離と相対エントロピーの間の逆Pinsker不等式の関係を調査すること。
• Pinskerの不等式を、全変動の一般化であるEγ発散度へ拡張すること。
• 相対的情報スペクトルを用いたRényi発散度の積分表現を導出すること。

提案手法

• 関数的支配を用いて、2つのf-発散度の比に対する最良の定数上界を導出する。
• モーメント不等式および対数凸性の性質を適用し、カイ二乗発散度を介して相対エントロピーとBhattacharyya距離を界する。
• 相対的情報に有界性の仮定を課すことにより、全変動と相対エントロピーを含むタイトな不等式を導出する。
• 全変動の一般化としてEγ発散度を導入し、そのPinsker型不等式を導出する。
• 相対的情報スペクトルを用いてRényi発散度の積分表現を導出し、変動距離または相対エントロピーを用いた界を可能にする。
• 変分法と凸解析を用いて、導出された界のタイトさがさまざまなf-発散度にわたってどのように特徴づけられるかを同定する。

実験結果

リサーチクエスチョン

• RQ1 関数的支配を用いて、2つのf-発散度の比を上界づける最良の定数は何か？
• RQ2 モーメント不等式および対数凸性を用いて、カイ二乗発散度を介して相対エントロピーとBhattacharyya距離をどのように界ずるか？
• RQ3 全変動と相対エントロピーの間の逆Pinsker不等式が成り立つ条件は何か？
• RQ4 Pinskerの不等式はEγ発散度へ拡張可能か？その情報理論的界への影響は何か？
• RQ5 Rényi発散度と相対的情報スペクトルを結ぶ積分表現は何か？それらはどのように新たな界を導くか？

主な発見

• 関数的支配を用いて、任意のアルファベット上での2つのf-発散度の比に対する最良の定数上界が導出され、タイトさが保証される。
• 有界な相対的情報のもとで、カイ二乗発散度を用いて相対エントロピーとBhattacharyya距離のタイトな境界が確立される。
• 全変動距離と相対エントロピー、および相対的情報を関連付ける逆Pinsker不等式が導出される。
• Pinskerの不等式はEγ発散度へ拡張され、全変動の一般化としての新たな情報理論的不等式のクラスが得られる。
• 相対的情報スペクトルを用いたRényi発散度の積分表現が導出され、変動距離または相対エントロピーを用いた界が可能になる。
• 導出された界が、相対エントロピー、カイ二乗、Rényi発散度を含む広範なf-発散度にわたってタイトでかつ適用可能であることが示される。