[논문 리뷰] Bounds on Non-Symmetric Divergence Measures in Terms of Symmetric Divergence Measures

Inder J. Taneja|ArXiv.org|2005. 06. 13.

Mathematical Inequalities and Applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 상대 산술-기하 평균 발산, 상대 J-발산, 상대 젠슨-샤논 발산과 같은 비대칭 발산 측도에 대해 삼각형 차별, J-발산, 젠슨-샤논 발산과 같은 대칭 발산 측도를 사용하여 날카운 상한과 하한을 확립한다. Csiszár f-발산에서 생성 함수의 두 번째 도함수의 비율을 분석함으로써, 저자들은 확률 분포 간 최소 및 최대 우도 비율에 따라 명시적인 상한과 하한을 도출하며, 비대칭 및 대칭 발산을 비교하는 통합된 프레임워크를 제공한다.

ABSTRACT

There are many information and divergence measures exist in the literature on information theory and statistics. The most famous among them are Kullback-Leibler (1951) relative information and Jeffreys (1951) J-divergence. Sibson (1969) Jensen-Shannon divergence has also found its applications in the literature. The author (1995) studied a new divergence measures based on arithmetic and geometric means. The measures like harmonic mean divergence and triangular discrimination are also known in the literature. Recently, Dragomir et al. (2001) also studies a new measure similar to J-divergence, we call here the relative J-divergence. Another measures arising due to Jensen-Shannon divergence is also studied by Lin (1991). Here we call it relative Jensen-Shannon divergence. Relative arithmetic-geometric divergence (ref. Taneja, 2004) is also studied here. All these measures can be written as particular cases of Csiszar's f-divergence. By putting some conditions on the probability distribution, the aim here is to obtain bounds among the measures.

연구 동기 및 목표

• 비대칭 발산 측도를 대칭 발산 측도를 사용하여 날카운 상한과 하한을 유도하기 위해.
• Csiszár f-발산 프레임워크 아래에서 다양한 정보이론적 발산을 통합하기 위해.
• 비대칭 발산(예: 상대 산술-기하 평균 발산)과 대칭 발산(예: J-발산, 삼각형 차별) 간의 관계를 정량화하기 위해.
• 확률 분포 간 유한한 우도 비율 조건이 만족될 때 성립하는 부등식을 수립하기 위해.
• 우도 비율의 구간 [r, R]에서 함수 비율과 극값을 사용하여 발산을 체계적으로 비교하기 위해.

제안 방법

• 논문은 Csiszár f-발산 프레임워크를 사용하여 모든 발산을 우도 비율에 적용된 볼록 함수의 적분으로 표현한다.
• 두 발산 A와 B에 대해 생성 함수의 두 번째 도함수 간의 비율인 g(x) = f''_A(x)/f''_B(x) 를 정의한다.
• 이 비율 함수의 구간 [r, R]에서의 하한과 상한을 계산함으로써 경계를 도출한다. 여기서 r과 R은 분포 P와 Q 간의 최소 및 최대 우도 비율이다.
• 비율 함수의 단조성 분석에 기반하여, 이들이 엄격히 감소함을 보여, 정확한 극값 경계를 도출할 수 있다.
• 미적분학과 부등식을 사용하여 이론적 결과를 도출하며, r과 R에 대한 명시적 경계 표현을 제공한다.
• 이 프레임워크는 G(P||Q) 대비 Δ(P||Q), J(P||Q), I(P||Q), T(P||Q) 등의 다양한 발산 쌍에 대해 체계적으로 적용된다.

실험 결과

연구 질문

• RQ1 비대칭 발산은 어떻게 우도 비율 간격을 기준으로 대칭 측도를 사용하여 경계지을 수 있는가?
• RQ2 삼각형 차별과 관련하여 상대 산술-기하 평균 발산에 대한 가장 날카운 상한과 하한은 무엇인가?
• RQ3 상대 산술-기하 평균 발산에 대한 J-발산 및 젠슨-샤논 발산과의 경계는 어떻게 비교되는가?
• RQ4 발산 비교에서 극값 경계를 결정하는 두 번째 도함수 비율의 기능적 성질은 무엇인가?
• RQ5 우도 비율 제약 조건을 사용하여 다양한 f-발산을 비교하는 통합 분석 프레임워크를 수립할 수 있는가?

주요 결과

• 상대 산술-기하 평균 발산 G(P||Q)는 삼각형 차별 Δ(P||Q)로 다음과 같이 경계지어진다: (R+1)²/(16R²) Δ(P||Q) ≤ G(P||Q) ≤ (r+1)²/(16r²) Δ(P||Q), 여기서 r과 R은 최소 및 최대 우도 비율이다.
• G(P||Q)는 J-발산으로 다음과 같이 경계지어진다: 1/(2(R+1)²) J(P||Q) ≤ G(P||Q) ≤ 1/(2(r+1)²) J(P||Q).
• G(P||Q)는 젠슨-샤논 발산으로 다음과 같이 경계지어진다: (1/R) I(P||Q) ≤ G(P||Q) ≤ (1/r) I(P||Q).
• G(P||Q)는 산술-기하 평균 발산 T(P||Q)로 다음과 같이 경계지어진다: 2/(1+R²) T(P||Q) ≤ G(P||Q) ≤ 2/(1+r²) T(P||Q).
• 모든 경계는 날카롭고, 우도 비율 x = p_i/q_i 가 구간 [r, R]의 끝점 r 또는 R에 위치할 때 도달된다.
• 모든 경계에 대한 비율 함수 g(x)는 (0, ∞)에서 엄격히 감소하므로, 극값은 x = R 및 x = r에서 도달된다.