[논문 리뷰] On the Kullback-Leibler divergence between location-scale densities

Frank Nielsen|arXiv (Cornell University)|2019. 04. 23.

Bayesian Methods and Mixture Models참고 문헌 12인용 수 4

한 줄 요약

이 논문은 임의의 두 위치척도 밀도 간의 쿨백-라이블러(KL) 발산이 표준 밀도와 다른 가족의 변환된 위치척도 밀도 간의 KL 발산으로 감소됨을 증명하며, 척도 가족 간의 발산이 척도 비율에만 의존함을 보여준다. 이는 표준 밀도가 짝함수일 경우 위치가속도 가족 간의 f-발산이 대칭이 됨을 증명하며, 질의 밀도에서 다른 위치척도 가족으로의 최소 f-발산이 질의 매개변수에 영향을 받지 않음을 보여준다.

ABSTRACT

We show that the $f$-divergence between any two densities of potentially different location-scale families can be reduced to the calculation of the $f$-divergence between one standard density with another location-scale density. It follows that the $f$-divergence between two scale densities depends only on the scale ratio. We then report conditions on the standard distribution to get symmetric $f$-divergences: First, we prove that all $f$-divergences between densities of a location family are symmetric whenever the standard density is even, and second, we illustrate a generic symmetric property with the calculation of the Kullback-Leibler divergence between scale Cauchy distributions. Finally, we show that the minimum $f$-divergence of any query density of a location-scale family to another location-scale family is independent of the query location-scale parameters.

연구 동기 및 목표

• 적분 내에서 변수변환 기법을 사용하여 위치척도 밀도 간의 f-발산에 대한 일반적 항등식을 유도하기.
• 위치가속도 가족 간의 f-발산이 대칭이 되는 조건을 조사하며, 특히 짝함수 표준 밀도의 역할에 초점을 맞추기.
• 질의 밀도에서 다른 위치척도 가족으로의 최소 f-발산이 질의의 위치 및 척도 매개변수에 영향을 받지 않음을 증명하기.
• 스케일 캐비 및 반정규 가족 간의 KL 발산을 명시적으로 계산하여 이러한 항등식의 실용적 응용을 보여주기.

제안 방법

• 교차엔트로피 및 KL 발산 적분에 변수변환 변환을 적용하여 좌우 척도 곱셈과 위치 이동에 대한 항등식을 도출하기.
• 임의의 두 위치척도 밀도 간의 f-발산을 다른 가족의 변환된 밀도와의 f-발산으로 환원하기.
• 기호 계산(마크스마)을 사용하여 반정규 및 지수 분포와 같은 척도 가족 간의 KL 발산에 대한 닫힌 형태의 표현식을 도출하기.
• 변환 하에서의 대칭성을 활용하여, 표준 밀도가 짝함수일 경우 위치가속도 밀도 간의 f-발산이 대칭이 됨을 증명하기.
• 최소 f-발산 문제를 위치척도 변환의 군 작용에 대한 최적화 문제로 공식화하여 질의 매개변수에 대한 불변성을 보여주기.
• 최소화 문제를 위치척도 다양체 위로의 정보 투영으로 해석하며, 정보 기하학과 연결하기.

실험 결과

연구 질문

• RQ1 변수변환 항등식을 사용하여 두 임의의 위치척도 밀도 간의 f-발산을 어떻게 단순화할 수 있는가?
• RQ2 위치가속도 가족의 두 밀도 간 KL 발산이 대칭이 되는 조건은 무엇인가?
• RQ3 왜 척도 밀도 간의 KL 발산이 척도 비율에만 의존하는가?
• RQ4 질의 밀도에서 목표 위치척도 가족으로의 최소 f-발산은 질의 매개변수에 대해 어떻게 행동하는가?
• RQ5 캐비 또는 반정규와 같은 특정 척도 가족에 대해 KL 발산의 닫힌 형태 표현식을 도출할 수 있는가?

주요 결과

• 임의의 두 위치척도 밀도 간의 f-발산은 다른 가족의 변환된 밀도와의 f-발산으로 감소하며, 계산을 크게 단순화한다.
• 척도 밀도 간의 KL 발산은 그들의 척도 매개변수 비율에만 의존하며, 위치에는 영향을 받지 않는다.
• 표준 밀도가 짝함수일 경우, 위치가속도 밀도 간의 모든 f-발산은 대칭이 된다.
• 스케일 캐비 분포 간의 KL 발산은 명시적 계산을 통해 대칭임을 확인하였다.
• 질의 밀도에서 목표 위치척도 가족으로의 최소 f-발산은 질의의 위치 및 척도 매개변수에 영향을 받지 않으며, 오직 표준 밀도에만 의존한다.
• 반정규 및 지수 척도 가족의 경우, KL 발산은 $\mathrm{KL}(p_{s_1}:q_{s_2}) = \sqrt{\frac{2}{\pi}}r - \log r + \log\sqrt{\frac{2}{\pi}} - \frac{1}{2} $로 주어지며, 여기서 $ r = \frac{s_1}{s_2} $ 이고, $ r = \sqrt{\frac{\pi}{2}} $ 에서 최소가 된다.