[論文レビュー] Bounds On Triangular Discrimination, Harmonic Mean and Symmetric Chi-square Divergences

Inder J. Taneja|ArXiv.org|May 12, 2005

Multi-Criteria Decision Making参考文献 12被引用数 18

ひとこと要約

本稿は、Csiszárのf-発散の枠組みを用いて、三角形差別と対称カイ二乗発散のタイトな上限と下限を確立する。これらの測度は、タイプsの相対情報に基づいて表現され、パラメータrとR（p_i/q_iの下限と上限）を含む明示的な不等式が導出され、Kullback-Leibler発散、カイ二乗発散、Hellinger差別との中での明確な定量的関係が得られる。

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leiber relative information and Jeffreys J-divergence. The measures like, Bhattacharya distance, Hellinger discrimination, Chi-square divergence, triangular discrimination and harmonic mean divergence are also famous in the literature on statistics. In this paper we have obtained bounds on triangular discrimination and symmetric chi-square divergence in terms of relative information of type s using Csiszar's f-divergence. A relationship among triangular discrimination and harmonic mean divergence is also given.

研究の動機と目的

• f-発散の枠組みを用いて、三角形差別と対称カイ二乗発散のタイトな境界を導出すること。
• これらの発散を、特にs = -1, 0, 1/2, 1, 2の場合のタイプsの相対情報に基づいて表現すること。
• 対称カイ二乗発散、三角形差別、およびKullback-Leiblerやカイ二乗といった古典的発散との定量的関係を確立すること。
• p_i/q_iの比の下限rと上限Rを含む明示的な不等式を提供し、発散の関係を定量化すること。

提案手法

• Csiszárのf-発散形式を用い、尤度比p_i/q_iに凸関数fを適用して発散を定義する。
• 三角形差別と対称カイ二乗発散を、f_Δ(x) = (x-1)²/(x+1) および f_Ψ(x) = (x-1)²(x+1)/x としてf-発散の特定の例として定義する。
• 定理5.2の一般不等式枠組みを適用し、x ∈ (0, ∞) における導関数g_Ψ(x) の最小値と最大値を用いてf-発散を境界づける。
• 各s ∈ {−1, 0, 1/2, 1, 2} に対して、関数g_Ψ(x) = f_Ψ(x)/f_s(x) を計算し、その最小値mを特定して下限を確立する。
• g_Ψ(x) の下限mを用いて、m × Φ_s(P||Q) ≤ Ψ(P||Q) の形の下限を導出し、r-Rパrameter化を用いて上限を導出する。
• 一般不等式構造 (3.20)–(3.22) を適用し、各sについて境界を導出する。微積分を用いてg_Ψ(x) の臨界点を特定する。

実験結果

リサーチクエスチョン

• RQ1 タイプsの相対情報に基づいて、三角形差別と対称カイ二乗発散をどのように境界づけられるか？
• RQ2 対称カイ二乗発散と相対情報、カイ二乗発散、Hellinger差別との間の最もタイトな不等式は何か？
• RQ3 パラメータrとR（p_i/q_iの最小値と最大値）は、これらの発散の境界にどのように影響を与えるか？
• RQ4 Csiszárのf-発散枠組みは、さまざまな情報理論的発散の間で境界を統一的・一般化的に扱う上で果たす役割は何か？
• RQ5 Kullback-Leibler、カイ二乗、Hellinger発散を用いて、対称カイ二乗発散について明示的かつ閉形式の境界を導出できるか？

主な発見

• s = 2 の場合、対称カイ二乗発散Ψ(P||Q) は、R³+1/R³ × χ²(P||Q) ≤ Ψ(P||Q) ≤ r³+1/r³ × χ²(P||Q) を満たし、rとRはp_i/q_iの下限と上限である。
• s = 0 の場合、下限 3√3 × K(Q||P) ≤ Ψ(P||Q) が成り立ち、等号成立条件はx = 1/∛2のとき。
• s = 1/2 の場合、下限 16 × h(P||Q) ≤ Ψ(P||Q) が確立され、等号成立はx = 1のとき。
• s = 1 の場合、下限 3√3 × K(P||Q) ≤ Ψ(P||Q) が導出され、g_Ψ(x) の最小値はx = ∛2のとき。
• Ψ(P||Q) − 3√3 × K(P||Q) の上限は、≤ (R−1)(1−r)(R+r) − 3√3 × [(R−1)r ln r + (1−r)R ln R]/(R−r) で定量化される。
• 対称カイ二乗発散と調和平均発散の関係は、Ψ(P||Q) = 2 × Ψ^*(P||Q) − χ²(P||Q) により確立され、Ψ^* は対称バージョンである。