[論文レビュー] Generalized Symmetric Divergence Measures and Metric Spaces

G. A. T. F. da Costa, Inder J. Taneja|arXiv (Cornell University)|May 13, 2011

Statistical Mechanics and Entropy参考文献 7被引用数 3

ひとこと要約

この論文は、一般化された対称的発散度測度の二つ—ジェンセン・シャノンおよび算術幾何平均発散度—の平方根が、離散確率分布の空間に距離空間構造を誘導することを確立する。凸性と単調性に基づく解析的証明を用いて、これらの発散度の平方根が三角不等式を満たし、したがって距離関数を形成することを示し、ヘリンジャー発散度や三角形差別発散度といった特定の発散度に対する既知の結果を拡張する。

ABSTRACT

Recently, Taneja studied two one parameter generalizations of J-divergence, Jensen-Shannon divergence and Arithmetic-Geometric divergence. These two generalizations in particular contain measures like: Hellinger discrimination, symmetric chi-square divergence, and triangular discrimination. These measures are well known in the literature of Statistics and Information theory. In this paper our aim is to prove metric space properties for square root of these two symmetric generalized divergence measures.

研究の動機と目的

• 一般化された対称的発散度測度の二つ、算術幾何平均（AG）およびジェンセン・シャノン（JS）発散度の平方根が距離空間の性質を有することを確立すること。
• 特定の発散度（例：ヘリンジャー、三角形差別）に関する既知の結果を、実数パラメータ $ s $ でパラメータ化されたより広いクラスの発散度へと拡張すること。
• 平方根変換の下での距離性を証明することで、対称的発散度の間の既存の不等式を統一的かつ一般化すること。
• クラスタリングや情報幾何学などの距離構造を要する応用にこれらの発散度を用いるための理論的基盤を提供すること。

提案手法

• パラメータ $ s \in \mathbb{R}$ でパラメータ化された二つの一般化された対称的発散度測度 $\xi_s(P||Q)$（AG型）および $\zeta_s(P||Q)$（J発散度型）を定義する。
• $\sqrt{\xi_s(P||Q)}$ および $\sqrt{\zeta_s(P||Q)}$ が四つの距離公理を満たすことを証明し、特に三角不等式に注目する。
• 変数変換 $ t = p/r $ および $ \beta = p/q $ を用いて、平方根の和の微分を分析し、$ p = q = r $ で唯一の最小値をとることを示す。
• $ s = 0 $ および $ s = 1 $ の場合に、連続性の議論を適用し、閉形式表現を用いる。
• テイラー展開と二階微分を用いて、$ P \to Q $ の近傍における発散度の漸近的近似を導出する。
• 発散度をツィスツァール $ f $-発散度と関連付け、既知の二階展開結果を適用して、$ \chi^2 $-発散度との漸近的同等性を導出する。

実験結果

リサーチクエスチョン

• RQ1 一般化された対称的算術幾何平均発散度 $\xi_s(P||Q)$ の平方根は、三角不等式を満たし、距離関数を定義するか？
• RQ2 一般化された対称的 J 発散度 $\zeta_s(P||Q)$ の平方根は、すべての $ s \in \mathbb{R} $ に対して距離空間を形成するか？
• RQ3 $ P \to Q $ の極限において、一般化された発散度は既知の発散度（例：ヘリンジャー、三角形差別）とどのように関係するか？
• RQ4 これらの発散度の漸近的挙動は、$ x=1 $ の周辺における二階テイラー展開を用いて特徴付けられるか？
• RQ5 生成関数の二階微分と $ \chi^2 $-発散度の漸近的係数との関係は何か？

主な発見

• $\xi_s(P||Q)$、一般化された AG 発散度の平方根は、すべての $ s \in \mathbb{R} $ に対して $\Gamma_n$ 上で距離を形成する。$ s=0,1 $ の場合も含む。
• $\zeta_s(P||Q)$、一般化された J 発散度の平方根も、すべての $ s \in \mathbb{R} $ に対して $\Gamma_n$ 上で距離を形成する。微分解析と連続性の議論により証明された。
• $ P \to Q $ のとき、$\zeta_s(P||Q) \approx \frac{1}{8} \chi^2(P||Q)$ となり、対称的 $\chi^2$-発散度の $\frac{1}{8}$ 倍と漸近的に同等であることが示された。
• $ P \to Q $ のとき、$\xi_s(P||Q) \approx \chi^2(P||Q)$ となり、AG 型発散度が漸近的に標準的な $\chi^2$-発散度と一致することが示された。
• 生成関数 $\psi_s(x)$ の $ x=1 $ における二階微分は $\psi_s''(1) = \frac{1}{4}$ であり、これは $\zeta_s$ の漸近的近似の根拠となっている。
• 生成関数 $\phi_s(x)$ の $ x=1 $ における二階微分は $\phi_s''(1) = 2$ であり、これにより $\xi_s(P||Q) \approx \chi^2(P||Q)$ の漸近的同等性が導かれた。