[논문 리뷰] On a generalization of the Jensen-Shannon divergence and the JS-symmetrization of distances relying on abstract means

Frank Nielsen|arXiv (Cornell University)|2019. 04. 08.

Statistical Mechanics and Entropy참고 문헌 65인용 수 28

한 줄 요약

이 논문은 추상 평균을 사용하여 제nsen-섀넌 발산을 일반화하여 지수 및 척도 가족의 확률 분포 간 발산에 대해 닫힌 형태의 표현식을 가능하게 한다. 지수 가족과 코시 척도 가족에 각각 기하평균과 조화평균을 활용함으로써, 저자들은 분석적으로 다룰 수 있고 클러스터링 및 양자 정보 환경에 적용 가능한 새로운 대칭화된 발산을 도출한다.

ABSTRACT

The Jensen-Shannon divergence is a renown bounded symmetrization of the unbounded Kullback-Leibler divergence which measures the total Kullback-Leibler divergence to the average mixture distribution. However the Jensen-Shannon divergence between Gaussian distributions is not available in closed-form. To bypass this problem, we present a generalization of the Jensen-Shannon (JS) divergence using abstract means which yields closed-form expressions when the mean is chosen according to the parametric family of distributions. More generally, we define the JS-symmetrizations of any distance using generalized statistical mixtures derived from abstract means. In particular, we first show that the geometric mean is well-suited for exponential families, and report two closed-form formula for (i) the geometric Jensen-Shannon divergence between probability densities of the same exponential family, and (ii) the geometric JS-symmetrization of the reverse Kullback-Leibler divergence. As a second illustrating example, we show that the harmonic mean is well-suited for the scale Cauchy distributions, and report a closed-form formula for the harmonic Jensen-Shannon divergence between scale Cauchy distributions. We also define generalized Jensen-Shannon divergences between matrices (e.g., quantum Jensen-Shannon divergences) and consider clustering with respect to these novel Jensen-Shannon divergences.

연구 동기 및 목표

• 정규분포 및 기타 지수 가족 분포 간 제nsen-섀넌 발산에 대해 닫힌 형태의 표현식이 부족한 문제를 해결하기 위해.
• Kullback-Leibler 및 반대 KL 발산을 포함한 임의의 발산을 대칭화하기 위해 추상 평균(예: 기하평균, 조화평균)을 사용하여 JS 발산을 일반화하기 위해.
• 통계 가족이 M-혼합에 대해 닫혀져 있을 조건을 설정하여 분석적 취급 가능성을 확보하기 위해.
• 행렬 발산으로 이 프레임워크를 확장하여 특히 양자 정보 및 행렬 클러스터링에 적용하기 위해.
• 일반화된 평균을 사용하여 비대칭 발산에 대한 통합된 대칭화 메커니즘을 제공하기 위해.

제안 방법

• 통계적 M-혼합과 대칭화 평균 N을 조합하여 $(M,N)$-제nsen-섀넌 발산을 도입한다.
• 준-산술 및 추상加權 평균(예: 기하평균, 조화평균)을 사용하여 파rametric 가족의 닫힘을 유지하는 M-혼합을 정의한다.
• 누적함수 $F$와 Bregman 발산 $B_F^*$를 통해 지수 가족에서 기하평균 JS 발산의 닫힌 형태 표현식을 유도한다.
• 척도 코시 가족에 대해 조화평균을 적용하여 척도 매개변수의 기하평균을 포함하는 닫힌 형태의 조화평균 JS 발산을 도출한다.
• 행렬 평균과 logdet 등의 발산을 사용하여 대칭 양의 정부호 행렬에 대한 행렬 M-제nsen-섀넌 발산을 정의한다.
• $N_{\beta}$ 평균을 사용한 기울기 대칭화를 제안하여 JS 프레임워크를 비대칭 및 기울어진 발산으로 일반화한다.

실험 결과

연구 질문

• RQ1 지수 가족 분포, 특히 정규분포에 대해 제nsen-섀넌 발산을 일반화하여 닫힌 형태의 표현식을 도출할 수 있는가?
• RQ2 기하평균, 조화평균 등의 추상 평균 중 어떤 것이 M-혼합에 대해 파arametric 가족의 닫힘을 보장하여 분석적 해법을 가능하게 하는가?
• RQ3 KL 발산 이외의 임의의 기본 발산에 대해 JS-대칭화 프레임워크를 어떻게 확장할 수 있는가?
• RQ4 행렬 값 분포에 대한 M-제nsen-섀넌 발산의 구조는 어떻게 되며, 양자 정보 발산과의 관계는 무엇인가?
• RQ5 가중 평균을 사용한 기울기 대칭화가 더 유연하고 수치적으로 안정된 발산을 도출할 수 있는가?

주요 결과

• 동일한 지수 가족의 밀도 사이의 기하평균 제nsen-섀넌 발산은 $\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = \exp(-J_F^\alpha(\theta_1:\theta_2))$ 로 주어지며, 여기서 $J_F^\alpha$ 는 누적함수의 $\alpha$-발산이다.
• 역 Kullback-Leibler 발산의 경우 기하평균 JS-대칭화는 $\mathrm{JS}^{G_{\alpha}}[p_{\theta_1}:p_{\theta_2}] = J_F^\alpha(\theta_1:\theta_2)$ 를 제공하여 닫힌 형태의 대칭화를 실현한다.
• 척도 코시 분포의 경우 조화평균은 닫힌 형태의 조화평균 JS 발산을 이끌어내며, $Z_{\alpha}^H(\theta_1:\theta_2) = \sqrt{\frac{\theta_1\theta_2}{(\theta_1\theta_2)_\alpha (\theta_1\theta_2)_{1-\alpha}}}$ 로 표현된다.
• 이 프레임워크는 행렬 발산으로 일반화되며, 행렬 평균 $M$ 에 대해 $\mathrm{JS}_D^M(X_1,X_2) = \frac{1}{2}(D(X_1,M(X_1,X_2)) + D(X_2,M(X_1,X_2)))$ 로 정의된다.
• 기울기 $N_\beta$-제프리스 대칭화 $J^{N_\beta}_D(p_1:p_2) = N_\beta(D(p_1:p_2), D(p_2:p_1))$ 는 대칭화를 대칭 평균을 초월하여 일반화한다.
• 논문은 기하평균이 지수 가족에 적합하고, 조화평균이 척도 코시 가족에 적합하며, 이는 M-혼합의 닫힘을 보장함을 입증한다.