[論文レビュー] Generalized Symmetric Divergence Measures and Inequalities

Inder J. Taneja|ArXiv.org|Jan 19, 2005

Point processes and geometric inequalities参考文献 17被引用数 13

ひとこと要約

本稿では、J-発散、ジャンセン・シャノン、ヘリンジャー、カイ二乗発散といったよく知られた発散を統一・拡張する2つの一般化された対称的発散測度、$\mathcal{V}_s(P||Q)$ と $\mathcal{W}_s(P||Q)$ を導入する。これらの測度の間でタイトな不等式を確立し、$\frac{1}{2} \leq s \leq 1$ の範囲で $\frac{1}{8}\mathcal{V}_s \leq \mathcal{W}_s \leq \frac{1}{4}\mathcal{V}_s$ が成り立つことを示した。特に $s=1$ および $s=1/2$ のような重要なケースについて明示的な境界を提示した。これらの結果は、既存の情報理論的不等式を一般化・統合するものである。

ABSTRACT

There are three classical divergence measures known in the literature on information theory and statistics. These are namely, Jeffryes-Kullback-Leiber \cite{jef} \cite{kul} extit{J-divergence}. Sibson-Burbea-Rao \cite{sib} \cite{bur1, bur2} extit{Jensen-Shannon divegernce}and Taneja \cite{tan3} extit{Arithemtic-Geometric divergence}. These three measures bears an interesting relationship among each other. The divergence measures like extit{Hellinger discrimination}, extit{symmetric}$χ^2 - $ extit{divergence}, and extit{triangular discrimination} are also known in the literature. All these measures can be written as particular cases of Csiszár's extit{f-divergence}. Recently, author proved an inequality relating all the six measures. In this paper our aim is to give one parametric generalizations of the above measures and established relationships among them. A new measure similar to extit{Hellinger's} and extit{triangular discriminations} is also derived.

研究の動機と目的

• J-発散、ジャンセン・シャノン、ヘリンジャー、カイ二乗発散といったよく知られた対称的発散測度を、パrameter $s$ を用いた統一的枠組みに一般化・統合すること。
• これらの一般化された発散測度の間で新たな不等式を確立すること、特に $\mathcal{V}_s$ と $\mathcal{W}_s$ の関係を特定すること。
• $\mathcal{V}_s$ と $\mathcal{W}_s$ の間のタイトな境界を、ヘリンジャーの判別力や算術-幾何平均発散といった既知の特殊ケースと関連付けて導出すること。
• 相対情報量の型 $s$ と凸性に基づく不等式を用いた、対称的発散測度の包括的分析フレームワークを提供すること。

提案手法

• 2つの一般化された対称的発散測度を定義する：$\mathcal{V}_s(P||Q) = \Phi_s(P||Q) + \Phi_s(Q||P)$ および $\mathcal{W}_s(P||Q)$、ここで $\Phi_s$ は Cressie と Read が導入した型 $s$ の相対情報量である。
• パrameter $s$ を用いて、さまざまな発散を統一する：$s=0,1$ では J-発散とジャンセン・シャノン発散が得られ、$s=1/2$ ではヘリンジャー判別力の新たな境界が得られる。
• 発散関数の2階微分の比の単調性を分析するために、$f$-発散の理論と凸性を応用し、不等式を導出する。
• ジェンセンの不等式と関数 $g_{(\psi_s,\phi_s)}(x)$ の単調性を用いて、$\mathcal{W}_s$ と $\mathcal{V}_s$ の間の境界を導出する。
• 連続性の議論を用いて、$s=0$ および $s=1$ への拡張を行い、パrameterの全範囲で不等式が成り立つことを保証する。
• 具体的なケース、たとえば $s=1$ および $s=1/2$ を用いて不等式を検証・図示し、既知の境界や新たな関係を回復する。

実験結果

リサーチクエスチョン

• RQ1 型 $s$ の相対情報量を用いて、J-発散とジャンセン・シャノン発散を、1つのパrametric家族の対称的発散測度に一般化する方法は何か？
• RQ2 2つの一般化された対称的発散測度 $\mathcal{V}_s$ と $\mathcal{W}_s$ の間で、最もタイトな不等式は何か？
• RQ3 一般化された測度は、ヘリンジャー判別力、三角形判別力、対称的カイ二乗発散といった古典的発散測度とどのように関係するか？
• RQ4 凸性と単調性を用いて、$s \in [\frac{1}{2},1]$ の範囲で不等式 $\frac{1}{8}\mathcal{V}_s \leq \mathcal{W}_s \leq \frac{1}{4}\mathcal{V}_s$ を厳密に確立できるか？
• RQ5 一般化された枠組みにおいて、$s=1/2$ または $s=1$ のとき、既知の発散測度に対して新たな定量的境界はどのようなものが得られるか？

主な発見

• $\mathcal{V}_s(P||Q)$ の一般化された発散は、$s$ の値に応じて J-発散、ヘリンジャー判別力、対称的カイ二乗発散を統合する。$s=1$ のとき、標準的な J-発散が得られる。
• $\mathcal{W}_s(P||Q)$ の一般化された発散は、ジャンセン・シャノン発散と算術-幾何平均発散の統一的一般化を提供する。$s=0$ および $s=1$ のとき、既知の形態が回復される。
• $s \in [\frac{1}{2},1]$ の範囲で、不等式 $\frac{1}{8}\mathcal{V}_s(P||Q) \leq \mathcal{W}_s(P||Q) \leq \frac{1}{4}\mathcal{V}_s(P||Q)$ が成り立つ。これは、2階微分の比の単調性を用いて導出された。
• $s=1/2$ のとき、不等式は $\frac{1}{4}h(P||Q) \leq d(P||Q) \leq \frac{1}{2}h(P||Q)$ を与え、ここで $d$ はヘリンジャー判別力に関連する新しい発散測度である。
• すべての $s \in \mathbb{R}$ に対して、$\mathcal{V}_s(P||Q) \geq 4\mathcal{W}_s(P||Q)$ が成り立つ。$s \to 0$ または $s \to 1$ の極限で等号が成立し、これはジェンセンの不等式によって証明される。
• すべての主要な対称的発散測度を結ぶ、完全な不等式鎖 $\frac{1}{4}\Delta \leq I \leq h \leq 4d \leq \frac{1}{8}J \leq T \leq \frac{1}{16}\Psi$ が確立された。