[論文レビュー] Inequalities Among Symmetric Divergence Measures and Their Refinement

Inder J. Taneja|ArXiv.org|Jan 19, 2005

Statistical Mechanics and Entropy参考文献 11被引用数 4

ひとこと要約

この論文は、Csiszárのf-発散度フレームワークを用いて、ヘリンジャーの判別、三角形分散、対称カイ二乗発散度、J-発散度、ジェンセン・シャノン発散度、算術幾何平均発散度の6つの対称的発散度測度の間で、洗練された不等式を確立する。主な貢献は、これらの測度の間で改善され、きつい境界が得られた階層的関係であり、2階微分の比較を通じて明示的な定数が導出されており、Dragomirらの先行研究をさらに精緻化している。

ABSTRACT

There are three classical divergence measures in the literature on information theory and statistics, namely, Jeffryes-Kullback-Leiber's J-divergence, Sibson-Burbea-Rao's Jensen-Shannon divegernce and Taneja's arithemtic-geometric mean divergence. These bear an interesting relationship among each other and are based on logarithmic expressions. The divergence measures like Hellinger discrimination, symmetric chi-square divergence, and triangular discrimination are not based on logarithmic expressions. These six divergence measures are symmetric with respect to probability distributions. In this paper some interesting inequalities among these symmetric divergence measures are studied. Refinement over these inequalities is also given. Some inequalities due to Dragomir et al. are also improved.

研究の動機と目的

• 情報理論および統計学で用いられる6つの対称的発散度測度の間で、包括的な不等式の階層を確立すること。
• J-発散度、ジェンセン・シャノン発散度、および関連する対称的発散度を含む、既存の不等式を精緻化し、よりきついものにすること。
• f-発散度フレームワーク内での2階微分の比較を用いて、Dragomirら[6]の先行結果を上回ること。
• 生成関数の2階微分の比を分析することで、不等式に明示的かつ鋭い定数を導出すること。
• 複数の発散度測度がJ-発散度と対称カイ二乗発散度の間にあることが示され、既知の順序付けが洗練されること。

提案手法

• 発散度が $ C_f(P||Q) = \sum q_i f(p_i/q_i) $ の形で表されるCsiszárのf-発散度フレームワークを用いる。ここで $ f $ は凸かつ正規化された関数である。
• 定理2.2を適用し、1つのf-発散度が別のものによって有界付けられる。$ m C_{f_2} \leq C_{f_1} \leq M C_{f_2} $ であり、$ m \leq f_1''/f_2'' \leq M $ を満たす。
• 各発散度測度（例：$ f_{\Psi J}, f_{\Psi T} $）の生成関数の2階微分を導出し、境界 $ m $ と $ M $ を計算する。
• 関数 $ g_{f_1 f_2}(x) = f_1''(x)/f_2''(x) $ の単調性を分析し、上界 $ M $ を特定することで、最もきつい上界が得られる。
• 複数のこのような境界を推移的不等式によって組み合わせ、洗練された発散度の鎖を形成する。例えば $ \frac{1}{8}J \leq \frac{1}{9}(\frac{1}{16}\Psi + 8h) \leq \frac{1}{16}\Psi $。
• 比関数の上界の明示的計算により結果を検証する。例えば $ \sup g_{\Psi J \_ \Psi T}(x) = \frac{4}{3} $ であり、これにより $ D_{\Psi J} \leq \frac{4}{3} D_{\Psi T} $ が得られる。

実験結果

リサーチクエスチョン

• RQ1 ヘリンジャー、三角形分散、対称 $ \chi^2 $、J-発散度、ジェンセン・シャノン発散度、算術幾何平均発散度の6つの対称的発散度測度の間で、最もきつい可能性のある不等式は何か？
• RQ2 Dragomir らの結果を上回る、これらの発散度の間の不等式をどのように洗練できるか？
• RQ3 生成関数の2階微分の比が、f-発散度間の鋭い境界を導出する際に果たす役割は何か？
• RQ4 明示的定数を伴い、これらの対称的発散度の間で完全な順序付け、すなわち不等式の鎖を確立できるか？
• RQ5 J-発散度と対称 $ \chi^2 $ 発散度を含む、古典的な不等式に対して、新しい境界はどのように改善されるか？

主な発見

• 論文は $ \frac{1}{8}J(P||Q) \leq \frac{1}{9}\left[\frac{1}{16}\Psi(P||Q) + 8h(P||Q)\right] \leq \frac{1}{16}\Psi(P||Q) $ を確立し、J-発散度と対称 $ \chi^2 $ 発散度の関係を洗練した。
• $ D_{\Psi J} \leq \frac{4}{3} D_{\Psi T} $ を証明し、対称 $ \chi^2 $-J 発散度が対称 $ \chi^2 $-T 発散度の最大 $ \frac{4}{3} $ 倍であることを示した。
• $ \frac{1}{4}\Delta \leq I \leq \frac{2}{3}h + \frac{1}{12}\Delta \leq h \leq \frac{1}{16}J + \frac{1}{2}I \leq \frac{1}{3}T + \frac{2}{3}h \leq \frac{1}{8}J \leq \frac{2}{3}T + \frac{1}{12}\Delta \leq T \leq \frac{1}{32}\left[\frac{1}{2}\Psi + 3J\right] \leq \frac{1}{16}\Psi $ という完全で洗練された発散度の鎖が構築された。
• $ D_{\Psi T} \leq \frac{1}{64}D^* $ という境界が確立され、$ D^* $ は新たな発散度を表す。これはDragomir らの結果を改善している。
• $ D_{12} \leq \frac{1}{2}D_2 \leq \frac{2}{3}D_1 \leq \frac{1}{96}D^* $ という鎖が導出され、複数の発散度が $ D_{J\Delta} $ と $ D^* $ の間にあることが示され、以前の不等式が洗練された。
• 比関数 $ g_{\Psi J \_ \Psi T}(x) = \frac{(x+1)^2}{x^2 + x + 1} $ の上界が $ x=1 $ で $ \frac{4}{3} $ であることが判明し、境界 $ D_{\Psi J} \leq \frac{4}{3} D_{\Psi T} $ が鋭いことが確認された。