[論文レビュー] Generalized Non-Symmetric Divergence Measures and Inequalities

Inder J. Taneja, Pranesh Kumar|ArXiv.org|Jan 19, 2005

Mathematical Inequalities and Applications参考文献 8被引用数 6

ひとこと要約

本稿は、Csiszár f-発散の枠組みに基づき、相対情報量、カイ二乗発散、およびジャンセン・シャノン発散といった非対称発散測度の1パラメータ一般化を統一的な枠組みで導入する。条件付き確率分布を用いた手法により、発散のペア間の境界をパラメータ r と R を用いて確立し、対称的不等式や特定のパラメータ値（s = 0, 1, 2）における閉形式の関係を含む、新たな不等式を導出する。

ABSTRACT

In this paper we consider one parameter generalizations of some non - symmetric divergence measures. Measures are extit{relative information}, $χ^2 - $ extit{divergence}, extit{relative J-divergence}, extit{relative Jensen-Shannon divergence}and extit{relative arithmetic and geometric divergence}. All the generalizations considered can be written as particular cases of Csiszár extit{f-divergence}. By conditioning the probability distributions, relationships among the extit{relative divergence measures}are obtained.

研究の動機と目的

• Kullback-Leibler、カイ二乗、およびジャンセン・シャノン発散といった非対称発散測度を、パラメータ s の1パラメータ族に拡張すること。
• パラメータ s を用いて、相対 J 発散と算術幾何発散を1つの一般化形式に統合すること。
• 確率分布の条件付けを用いて、一般化発散測度間の新たな不等式を導出すること。
• 特に対称的および随伴形式を含む、さまざまな発散測度の間の境界をパラメータ r と R を用いて確立すること。
• 既知の結果（例：ヘルンガー判別、バタチャーリャ係数）を、提案された枠組みの特殊ケースとして一般化すること。

提案手法

• 関数 $ \Phi_s(P||Q) = [s(s-1)]^{-1} \left[ \sum p_i^s q_i^{1-s} - 1 \right] $ を用いて、相対情報量（Kullback-Leibler 発散）の1パラメータ一般化を提案する。この関数は $ s \in \mathbb{R} $ に対して有効であり、s = 0, 1, 2, -1 における特殊ケースを含む。
• 相対ジャンセン・シャノン発散と算術幾何発散の両方を一般化する統一発散 $ \Omega_s(P||Q) $ を導入し、s = 0 および s = 1 のとき、それぞれ元の測度を回復する。
• Csiszár f-発散の枠組みを用いて、すべての一般化発散測度を特定のケースとして表現し、解析的取り扱いと比較を可能にする。
• 条件付け技術を適用し、$ K(P||Q), \chi^2(P||Q), F(P||Q), G(P||Q), D(P||Q) $、および $ \Delta(P||Q) $ を含む式の関係を用いて、一般化発散測度間の不等式を導出する。
• パラメータ r と R を用いて、発散の比をバインドする17個の不等式（32）–（48）を導出する。特定の代入により、簡略化された境界が得られる。
• P と Q を入れ替えることにより対称性および双対性の性質を確立し、$ \Phi_s(Q||P) $ および $ \Omega_s(Q||P) $ といった随伴発散を定義する。

実験結果

リサーチクエスチョン

• RQ1 相対情報量、カイ二乗発散、およびジャンセン・シャノン発散といった非対称発散測度は、1つのパラメータ s を用いてどのように一般化できるか？
• RQ2 一般化発散測度 $ \Phi_s(P||Q) $、$ \Omega_s(P||Q) $ とその随伴形式 $ \Phi_s(Q||P) $、$ \Omega_s(Q||P) $ 間の関係は何か？
• RQ3 確率分布の条件付けを用いて、異なる一般化発散測度間の不等式はどのように導出できるか？
• RQ4 特定のパラメータ値（例：s = 0, 1, 2, -1）は、どのようにして既知の発散測度（例：ヘルンガー判別、バタチャーリャ係数）を回復するか？
• RQ5 発散測度 $ K(P||Q) $、$ \chi^2(P||Q) $、$ F(P||Q) $、$ G(P||Q) $、$ D(P||Q) $ 間のタイトな境界は何か？また、これらはどのようにパラメータ r と R を用いて表現されるか？

主な発見

• 一般化相対情報 $ \Phi_s(P||Q) $ は、既知の発散測度を回復する：$ \Phi_1(P||Q) = K(P||Q) $、$ \Phi_2(P||Q) = \frac{1}{2}\chi^2(P||Q) $、$ \Phi_{-1}(P||Q) = \frac{1}{2}\chi^2(Q||P) $、および $ \Phi_0(P||Q) = K(Q||P) $。
• 統一発散 $ \Omega_s(P||Q) $ は、相対ジャンセン・シャノン発散と算術幾何発散の両方を一般化し、$ \Omega_0(P||Q) = F(P||Q) $ および $ \Omega_1(P||Q) = G(P||Q) $ を満たす。
• $ s = \frac{1}{2} $ のとき、$ \Phi_{1/2}(P||Q) = 4(1 - B(P||Q)) = 4h(P||Q) $ となり、ヘルンガー判別と関連づけられる。
• 本稿は、パラメータ r と R を用いて発散の比をバインドする17個の不等式（32）–（48）を導出する。例として、$ r \leq \frac{K(Q||P)}{\chi^2(Q||P)} \leq R $ は、特定のパラメータ代入のもとで有効である。
• 特定の代入により、簡略化された境界が得られる。例えば、$ t=0, s=0 $ のとき $ r \leq \frac{F(Q||P)}{F(P||Q)} \leq R $、$ t=1, s=1 $ のとき $ r \leq \frac{\sqrt{G(Q||P)}}{\sqrt{G(P||Q)}} \leq R $ が成り立つ。
• この枠組みにより、対称的関係が明らかになる。例えば $ \Phi_2(P||Q) = \Phi_{-1}(Q||P) $ および $ \Phi_1(P||Q) = \Phi_0(Q||P) $ であり、一般化発散測度における双対性が強調される。