[論文レビュー] Bounds on Non-Symmetric Divergence Measures in Terms of Symmetric Divergence Measures

Inder J. Taneja|ArXiv.org|Jun 13, 2005

Mathematical Inequalities and Applications参考文献 16被引用数 8

ひとこと要約

この論文は、相対的算術幾何平均発散、相対的J発散、相対的ジェンセン・シャノン発散などの非対称発散測度について、三角形差別、J発散、ジェンセン・シャノン発散などの対称発散測度を用いて、きつい上限と下限を確立する。Csiszár f-発散における生成関数の2階微分の比を分析することで、確率分布間の最小および最大尤度比に基づく明示的な境界を導出し、非対称発散と対称発散を統一的に比較するフレームワークを提供する。

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leibler (1951) relative information and Jeffreys (1951) J-divergence. Sibson (1969) Jensen-Shannon divergence has also found its applications in the literature. The author (1995) studied a new divergence measures based on arithmetic and geometric means. The measures like harmonic mean divergence and triangular discrimination are also known in the literature. Recently, Dragomir et al. (2001) also studies a new measure similar to J-divergence, we call here the relative J-divergence. Another measures arising due to Jensen-Shannon divergence is also studied by Lin (1991). Here we call it relative Jensen-Shannon divergence. Relative arithmetic-geometric divergence (ref. Taneja, 2004) is also studied here. All these measures can be written as particular cases of Csiszar's f-divergence. By putting some conditions on the probability distribution, the aim here is to obtain bounds among the measures.

研究の動機と目的

• 非対称発散測度を対称発散測度を用いてきつい境界を導出すること。
• Csiszár f-発散フレームワークにおいて、さまざまな情報理論的発散を統一すること。
• 非対称発散（例：相対的算術幾何平均発散）と対称発散（例：J発散、三角形差別）の関係を定量化すること。
• 確率分布間の有界尤度比条件下で成り立つ不等式を確立すること。
• 尤度比の区間 [r, R] における関数比と極値を用いた、発散の体系的比較を提供すること。

提案手法

• 論文は、Csiszár f-発散フレームワークを用い、すべての発散を尤度比に適用した凸関数の積分として表現する。
• 2つの発散 A と B の生成関数の2階微分の比として、g(x) = f''_A(x)/f''_B(x) という比関数を定義する。
• r と R が分布 P と Q 間の最小および最大尤度比である区間 [r, R] において、これらの比関数の下界と上界を計算することで境界を導出する。
• 比関数の単調性解析に依拠し、それらが厳密に単調減少であることを示し、これにより正確な極値境界が得られることを保証する。
• 微積分と不等式を用いた理論的結果を導出し、r と R を用いた明示的な境界表現を提供する。
• G(P||Q) と Δ(P||Q)、J(P||Q)、I(P||Q)、T(P||Q) のような複数の発散ペアに、体系的にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 尤度比区間を用いて、非対称発散を対称発散でどのように境界づけられるか。
• RQ2 相対的算術幾何平均発散 G(P||Q) と三角形差別 Δ(P||Q) 間のきつい上限および下限は何か。
• RQ3 相対的算術幾何平均発散 G(P||Q) の境界が、J発散やジェンセン・シャノン発散を含む境界と比べてどう異なるか。
• RQ4 発散比較における極値境界を決定する、2階微分の比の関数的性質は何か。
• RQ5 尤度比制約を用いて、多様な f-発散を統一的に比較するための分析的フレームワークを確立できるか。

主な発見

• 相対的算術幾何平均発散 G(P||Q) は、Δ(P||Q) によって次のように境界づけられる：(R+1)²/(16R²) Δ(P||Q) ≤ G(P||Q) ≤ (r+1)²/(16r²) Δ(P||Q)，ここで r と R は最小および最大尤度比である。
• G(P||Q) は J-発散によって次のように境界づけられる：1/(2(R+1)²) J(P||Q) ≤ G(P||Q) ≤ 1/(2(r+1)²) J(P||Q)。
• G(P||Q) はジェンセン・シャノン発散によって次のように境界づけられる：(1/R) I(P||Q) ≤ G(P||Q) ≤ (1/r) I(P||Q)。
• G(P||Q) は算術幾何平均発散 T(P||Q) によって次のように境界づけられる：2/(1+R²) T(P||Q) ≤ G(P||Q) ≤ 2/(1+r²) T(P||Q)。
• すべての境界はきつくて、尤度比 x = p_i/q_i が区間 [r, R] の端点 r または R に位置するときに達成される。
• すべての境界における比関数 g(x) は (0, ∞) で厳密に単調減少であり、極値が x = R および x = r で達成されることを保証する。