[논문 리뷰] Relative Divergence Measures and Information Inequalities

Inder J. Taneja|ArXiv.org|2005. 05. 11.

Advanced Topology and Set Theory참고 문헌 14인용 수 7

한 줄 요약

이 논문은 Csiszár의 f-divergence 프레임워크와 유형 s에 대한 일반화된 상대 정보를 사용하여 비대칭 및 대칭 발산 측정치—예를 들어 J-발산, JS-발산, AG-발산—에 대한 날카운 bounds를 수립한다. 주요 기여는 s-매개변수화된 발산에 대해 이러한 측정치의 명시적 하한 및 상한을 도출하는 것으로, 거기에 포함된 거듭제곱 함수의 비율과 가능도 비율 r 및 R의 극값을 포함한 닫힌 형태의 표현식을 제공한다.

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leiber's (1951)relative information and Jeffreys (1946) J-divergence, Information radius or Jensen difference divergence measure due to Sibson (1969) also known in the literature. Burbea and Rao (1982) has also found its applications in the literature. Taneja (1995) studied another kind of divergence measure based on arithmetic and geometric means. These three divergence measures bear a good relationship among each other. But there are another measures arising due to J-divergence, JS-divergence and AG-divergence. These measures we call here relative divergence measures or non-symmetric divergence measures. Here our aim is to obtain bounds on symmetric and non-symmetric divergence measures in terms of relative information of type s using properties of Csiszar's f-divergence.

연구 동기 및 목표

• 유형 s에 대한 일반화된 상대 정보에 대해 상대 발산 측정치—J-발산, JS-발산, AG-발산—에 대한 날카운 bounds를 도출하는 것.
• Csiszár의 f-divergence 프레임워크를 사용하여 기존의 정보 이론적 발산에 대한 부등식들을 통합하고 확장하는 것.
• 가능도 비율의 극값 r 및 R를 포함한 명시적이고 매개변수화된 bounds를 제공하여 s의 다양한 값에 적용 가능한 것.
• 일반적인 bounds가 커버하지 못하는 경우—예를 들어 s = 0, 1/2, 1, s = -1, 2—에 대해 별도의 분석을 통해 해당 함수의 성질을 다루는 것.

제안 방법

• Csiszár의 f-divergence 프레임워크인 $ C_f(P||Q) = Σ q_i f(p_i/q_i) $ 를 사용하여 발산 측정치를 분석한다.
• 상대 J-발산 $ D(P||Q) $, 상대 JS-발산 $ F(P||Q) $, 상대 AG-발산 $ G(P||Q) $ 를 정의하며, 이는 Kullback-Leibler 발산과 산술-기하 평균 구성에서 유도된다.
• 유형 s에 대한 일반화된 상대 정보 $ Φ_s(P||Q) $ 를 정의하며, 이는 거듭제곱 평균을 통해 정의되며 Kullback-Leibler, 카이제곱, 헬링거를 특수 케이스로 포함한다.
• 생성 함수의 이阶도 미분 $ f_T''(x) $ 를 고려한 함수 $ g_T(x) = x^{2-s} f_T''(x) $ 의 분석을 통해 bounds를 유도한다.
• 가능도 비율의 극값 $ r = \min(p_i/q_i) $, $ R = \max(p_i/q_i) $ 를 포함하는 구간 $ x \in [r, R] $ 에서의 극값 분석을 통해 비율 함수의 하한 및 상한을 계산한다.
• 함수 $ g_T(x) $ 의 단조성에 기반하여 $ m \cdot \Phi_s(P||Q) \leq T(P||Q) \leq M \cdot \Phi_s(P||Q) $ 라는 부등식을 적용한다, 여기서 $ m $ 과 $ M $ 은 $ g_T(x) $ 의 단조성으로부터 유도된다.

실험 결과

연구 질문

• RQ1 비대칭 발산 측정치—예를 들어 상대 J-발산, 상대 JS-발산, 상대 AG-발산—은 어떻게 유형 s에 대한 일반화된 상대 정보에 대해 bounds를 가지는가?
• RQ2 매개변수 s의 다양한 값에서 AG-발산 측정치 $ T(P||Q) $ 에 대해 가장 날카운 bounds는 무엇인가?
• RQ3 특수 케이스—예를 들어 s = 0 (Kullback-Leibler), s = 1/2 (헬링거), s = 2 (카이제곱)—에서 bounds는 어떻게 행동하는가?
• RQ4 s ≤ -1 및 s ≥ 2에 대해 bounds를 균일하게 유도할 수 있으며, 이러한 영역에서의 극값 표현식은 무엇인가?
• RQ5 대칭 발산 측정치(예: J-발산, JS-발산)와 상대 AG-발산 $ T(P||Q) $ 간의 관계는 무엇인가?

주요 결과

• s ≤ -1 인 경우, $ \frac{R^{-s}(1+R^2)}{4(1+R)} \Phi_s(P||Q) \leq T(P||Q) \leq \frac{r^{-s}(1+r^2)}{4(1+r)} \Phi_s(P||Q) $ 라는 bounds가 성립하며, 여기서 $ r = \min(p_i/q_i) $, $ R = \max(p_i/q_i) $ 이다.
• s ≥ 2 인 경우, $ \frac{R^{-s}(1+R^2)}{4(1+R)} \Phi_s(P||Q) \leq T(P||Q) \leq \frac{r^{-s}(1+r^2)}{4(1+r)} \Phi_s(P||Q) $ 라는 bounds가 유효하며, r 및 R의 극값 역할이 뒤바뀐다.
• s = 0 인 경우, $ \frac{\sqrt{2}-1}{2} K(Q||P) \leq T(P||Q) $ 라는 bounds가 확립되며, 등호는 $ x = \sqrt{2} - 1 $ 에서 근접된다.
• s = 1 인 경우, $ \frac{\sqrt{2}-1}{2} K(P||Q) \leq T(P||Q) $ 라는 bounds가 성립하며, $ g_T(x) $ 의 최솟값은 $ x = \sqrt{2} + 1 $ 에서 발생한다.
• s = \frac{1}{2} 인 경우, $ h(P||Q) \leq T(P||Q) $ 라는 bounds가 유도되며, $ g_T(x) $ 의 최솟값은 $ x = 1 $ 에서 발생하여 $ m = \frac{1}{4} $ 이다.
• 결론 5.3은 카이제곱 발산에 대한 bounds를 제공한다: $ s = -1 $ 에서는 $ \frac{r + r^3}{8(1+r)} \chi^2(Q||P) \leq T(P||Q) \leq \frac{R + R^3}{8(1+R)} \chi^2(Q||P) $, $ s = 2 $ 에서는 $ \frac{1+R^2}{8R^2(1+R)} \chi^2(P||Q) \leq T(P||Q) \leq \frac{1+r^2}{8r^2(1+r)} \chi^2(P||Q) $.