[논문 리뷰] Generalized Symmetric Divergence Measures and Metric Spaces

G. A. T. F. da Costa, Inder J. Taneja|arXiv (Cornell University)|2011. 05. 13.

Statistical Mechanics and Entropy참고 문헌 7인용 수 3

한 줄 요약

이 논문은 이차형 대칭 분산 측도인 젠센-샤논 및 산술-기하 평균 분산 측도의 제곱근이 이산 확률 분포 공간 위에 거리 공간 구조를 유도함을 증명한다. 볼록성과 단조성에 기반한 분석적 증명을 통해, 이러한 분산 측도의 제곱근이 삼각 부등식을 만족하고 따라서 거리 함수를 형성함을 보이며, 힐베르트 및 삼각 분할 차별과 같은 특정 분산 측도에 대한 기존 결과를 일반화한다.

ABSTRACT

Recently, Taneja studied two one parameter generalizations of J-divergence, Jensen-Shannon divergence and Arithmetic-Geometric divergence. These two generalizations in particular contain measures like: Hellinger discrimination, symmetric chi-square divergence, and triangular discrimination. These measures are well known in the literature of Statistics and Information theory. In this paper our aim is to prove metric space properties for square root of these two symmetric generalized divergence measures.

연구 동기 및 목표

• 산술-기하 평균(AG) 및 젠센-샤논(JS) 분산 측도라는 두 가지 일반화된 대칭 분산 측도의 제곱근이 거리 공간 성질을 가지는 것을 확립한다.
• 실수 매개수 $s$에 의해 매개화되는 일반화된 분산 측도 클래스로 힐베르트 및 삼각 분할 차별과 같은 특정 분산 측도에 대한 기존 결과를 확장한다.
• 제곱근 변환 하에서 대칭 분산 측도 간의 기존 부등식을 통합하고 일반화하여 거리 성질을 증명한다.
• 클러스터링 및 정보 기하학과 같은 거리 공간이 요구되는 응용 분야에서 이러한 분산 측도를 사용하기 위한 이론적 기초를 제공한다.

제안 방법

• 매개수 $s \in \mathbb{R}$에 의해 매개화되는 두 가지 일반화된 대칭 분산 측도인 $\xi_s(P||Q)$ (AG형) 및 $\zeta_s(P||Q)$ (J-분산형)를 정의한다.
• 삼각 부등식에 중점을 두어 $\sqrt{\xi_s(P||Q)}$ 및 $\sqrt{\zeta_s(P||Q)}$가 거리의 네 가지 공리(axiom)를 만족함을 증명한다.
• 대체로 $t = p/r$ 및 $\beta = p/q$를 사용하여 제곱근 합의 도수를 분석하고, $p = q = r$에서 유일한 최솟값을 가짐을 보인다.
• 닫힌 형태 표현식이 존재하는 $s = 0$ 및 $s = 1$의 경우 연속성 논증을 적용한다.
• 테일러 전개 및 두 번째 도수를 사용하여 $P \to Q$ 근처에서 분산 측도의 점근적 근사값을 유도한다.
• 분산 측도를 치스자르 $f$-분산 측도와 연결하고, 두 번째 차수 전개에 대한 알려진 결과를 적용하여 점근적 등가성을 $\chi^2$-분산 측도로 도출한다.

실험 결과

연구 질문

• RQ1 일반화된 대칭 산술-기하 평균 분산 측도 $\xi_s(P||Q)$의 제곱근은 삼각 부등식을 만족하고 거리 함수를 정의하는가?
• RQ2 일반화된 대칭 J-분산 측도 $\zeta_s(P||Q)$의 제곱근은 모든 $s \in \mathbb{R}$에 대해 거리 공간을 형성하는가?
• RQ3 분포 $P \to Q$의 극한에서 일반화된 분산 측도는 기존의 분산 측도들(예: 힐베르트, 삼각 분할 차별)과 어떻게 관련이 있는가?
• RQ4 분포 $P \to Q$일 때, 두 번째 차수 테일러 전개를 통해 이러한 분산 측도의 점근적 행동을 특성화할 수 있는가?
• RQ5 생성 함수의 두 번째 도수와 $\chi^2$-분산 측도의 점근적 계수 사이의 관계는 무엇인가?

주요 결과

• $\xi_s(P||Q)$인 일반화된 AG-분산 측도의 제곱근은 모든 $s \in \mathbb{R}$에 대해 $\Gamma_n$ 위에 거리 공간을 형성한다. 이는 $s=0,1$을 포함한다.
• $\zeta_s(P||Q)$인 일반화된 J-분산 측도의 제곱근 역시 모든 $s \in \mathbb{R}$에 대해 $\Gamma_n$ 위에 거리 공간을 형성한다. 이는 도수 분석 및 연속성에 기반한 증명을 통해 입증된다.
• $P \to Q$일 때 $\zeta_s(P||Q) \approx \frac{1}{8} \chi^2(P||Q)$이며, 이는 대칭 $\chi^2$-분산 측도의 $\frac{1}{8}$ 배와 점근적으로 등가임을 보여준다.
• $P \to Q$일 때 $\xi_s(P||Q) \approx \chi^2(P||Q)$이며, 이는 AG형 분산 측도가 점근적으로 표준 $\chi^2$-분산 측도와 일치함을 시사한다.
• 생성 함수 $\psi_s(x)$의 $x=1$에서의 두 번째 도수는 $\psi_s''(1) = \frac{1}{4}$이며, 이는 $\zeta_s$의 점근적 근사의 기초가 된다.
• 생성 함수 $\phi_s(x)$의 $x=1$에서의 두 번째 도수는 $\phi_s''(1) = 2$이며, 이는 점근적 등가성 $\xi_s(P||Q) \approx \chi^2(P||Q)$를 이끌어낸다.