[論文レビュー] Relative Divergence Measures and Information Inequalities

Inder J. Taneja|ArXiv.org|May 11, 2005

Advanced Topology and Set Theory参考文献 14被引用数 7

ひとこと要約

この論文は、Csiszárのf-発散の枠組みとタイプsの一般化相対情報に基づき、非対称および対称発散測度（例えばJ-発散、JS-発散、AG-発散）のタイトな境界を確立する。主な貢献は、s-パrameter化された発散を用いて、これらの測度の明示的下界および上界を導出することであり、累乗関数の比と尤度比rおよびRの極値を含む閉形式の表現が得られる。

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leiber's (1951)relative information and Jeffreys (1946) J-divergence, Information radius or Jensen difference divergence measure due to Sibson (1969) also known in the literature. Burbea and Rao (1982) has also found its applications in the literature. Taneja (1995) studied another kind of divergence measure based on arithmetic and geometric means. These three divergence measures bear a good relationship among each other. But there are another measures arising due to J-divergence, JS-divergence and AG-divergence. These measures we call here relative divergence measures or non-symmetric divergence measures. Here our aim is to obtain bounds on symmetric and non-symmetric divergence measures in terms of relative information of type s using properties of Csiszar's f-divergence.

研究の動機と目的

• 一般化相対情報のタイプsを用いて、相対発散測度（J-発散、JS-発散、AG-発散を含む）のタイトな境界を導出すること。
• Csiszárのf-発散フレームワークを用いて、情報理論的発散の既存の不等式を統合・拡張すること。
• 尤度比の極値rおよびRを含む明示的かつパラメータ化された境界を提供することにより、sの異なる値に適用可能であるようにすること。
• 一般の境界がカバーしない場合、s = 0, 1/2, 1, およびs = -1, 2のケースに対して、関連関数の別個の解析を通じて処理すること。

提案手法

• 発散測度を分析するために、$ C_f(P||Q) = Σ q_i f(p_i/q_i) $ で定義されるCsiszárのf-発散フレームワークを用いる。
• 相対発散測度：$ D(P||Q) $（相対J-発散）、$ F(P||Q) $（相対JS-発散）、$ G(P||Q) $（相対AG-発散）を導入し、Kullback-Leiblerと算術幾何平均の構成に基づく。
• タイプsの一般化相対情報 $ Φ_s(P||Q) $ を導入し、累乗平均を用いて定義され、Kullback-Leibler、カイ二乗、ヘルンゲリンを特別なケースとして含む。
• 生成関数の2階微分 $ f_T''(x) $ を用いた関数 $ g_T(x) = x^{2-s} f_T''(x) $ の解析を通じて境界を導出する。
• 区間 $ x \in [r, R] $ における極値解析を実施し、比関数の下界および上界を計算する。ここで $ r = \min(p_i/q_i) $、$ R = \max(p_i/q_i) $ である。
• 関数 $ g_T(x) $ の単調性に基づき導出された $ m $ および $ M $ を用いて、不等式 $ m \cdot \Phi_s(P||Q) \leq T(P||Q) \leq M \cdot \Phi_s(P||Q) $ を適用する。

実験結果

リサーチクエスチョン

• RQ1 相対J-発散、相対JS-発散、相対AG-発散といった非対称発散測度は、タイプsの一般化相対情報に基づいてどのように境界づけられるか？
• RQ2 パrameter sの異なる値において、AG-発散測度 $ T(P||Q) $ のタイトな境界は何か？
• RQ3 s = 0（Kullback-Leibler）、s = 1/2（ヘルンゲリン）、s = 2（カイ二乗）といった特別なケースでは、境界はどのように振る舞うか？
• RQ4 s ≤ -1 および s ≥ 2 に対して一様に境界を導出可能か？これらの領域における極値表現は何か？
• RQ5 対称発散測度（例：J-発散、JS-発散）と相対AG-発散 $ T(P||Q) $ の間にはどのような関係があるか？

主な発見

• s ≤ -1 の場合、$ \frac{R^{-s}(1+R^2)}{4(1+R)} \Phi_s(P||Q) \leq T(P||Q) \leq \frac{r^{-s}(1+r^2)}{4(1+r)} \Phi_s(P||Q) $ が成り立ち、ここで $ r = \min(p_i/q_i) $、$ R = \max(p_i/q_i) $ である。
• s ≥ 2 の場合、$ \frac{R^{-s}(1+R^2)}{4(1+R)} \Phi_s(P||Q) \leq T(P||Q) \leq \frac{r^{-s}(1+r^2)}{4(1+r)} \Phi_s(P||Q) $ が有効であり、rおよびRの極値的役割が逆転する。
• s = 0 の場合、$ \frac{\sqrt{2}-1}{2} K(Q||P) \leq T(P||Q) $ が確立され、$ x = \sqrt{2} - 1 $ で等号に近づく。
• s = 1 の場合、$ \frac{\sqrt{2}-1}{2} K(P||Q) \leq T(P||Q) $ が成り立ち、$ g_T(x) $ の最小値は $ x = \sqrt{2} + 1 $ で発生する。
• s = \frac{1}{2} の場合、$ h(P||Q) \leq T(P||Q) $ が導出され、$ g_T(x) $ の最小値は $ x = 1 $ で発生し、$ m = \frac{1}{4} $ を得る。
• 系5.3ではカイ二乗発散を用いた境界が提供される：$ s = -1 $ に対して $ \frac{r + r^3}{8(1+r)} \chi^2(Q||P) \leq T(P||Q) \leq \frac{R + R^3}{8(1+R)} \chi^2(Q||P) $、$ s = 2 $ に対して $ \frac{1+R^2}{8R^2(1+R)} \chi^2(P||Q) \leq T(P||Q) \leq \frac{1+r^2}{8r^2(1+r)} \chi^2(P||Q) $。