[논문 리뷰] A Note on the Kullback-Leibler Divergence for the von Mises-Fisher distribution

Tom Diethe|arXiv (Cornell University)|2015. 02. 25.

Bayesian Methods and Mixture Models참고 문헌 7인용 수 5

한 줄 요약

이 논문은 d차원 초구에서 von Mises-Fisher (vMF) 분포에 대한 Kullback-Leibler (KL) 발산을 유도하며, 두 개의 vMF 분포 간의 KL 발산에 대한 닫힌 형태 표현식과 균일한 사전 분포의 경우를 단순화한 형태를 제공한다. 이 유도 과정은 수정 Bessel 함수와 정규화 상수의 성질을 활용하여, 방향 통계 및 초구 위의 베이지안 추론에서의 효율적 계산을 가능하게 한다.

ABSTRACT

We present a derivation of the Kullback Leibler (KL)-Divergence (also known as Relative Entropy) for the von Mises Fisher (VMF) Distribution in $d$-dimensions.

연구 동기 및 목표

• d차원 초구 위의 두 von Mises-Fisher (vMF) 분포 간의 Kullback-Leibler (KL) 발산을 유도하는 것.
• 초구 위에서 균일한 사전 분포의 특수한 경우에 대해 KL 발산 표현식을 단순화하는 것.
• 방향 데이터를 포함한 베이지안 추론 및 머신러닝 응용 분야에서 KL 발산의 효율적 계산을 가능하게 하는 것.
• 수정 Bessel 함수 및 감마 함수와 같은 특수 함수를 사용한 수학적으로 엄밀한 유도를 제공하는 것.

제안 방법

• 다른 집중 매개변수와 평균 방향을 가진 두 개의 vMF 분포 간 상대 엔트로피의 적분 정의를 사용하여 KL 발산을 유도한다.
• 정규화 상수를 제1종 수정 Bessel 함수 $ I_{d/2-1}( heta) $ 로 표현하고, 감마 함수와 관련지어 기술한다.
• 로그 항을 단순화하기 위해 지수 적분 및 정규화되지 않은 감마 함수와 관련된 적분 항등식을 적용한다.
• 정규화 항을 처리하기 위해 항등식 $ \int_{-1}^{1}(1-t)^{d}e^{t\kappa} = -2^{d-1}E_{-d}(2\kappa)e^{\kappa} $ 를 사용한다.
• 후행 vMF 분포에서 $ \mathbf{x} $ 의 기대값이 그 평균 방향 $ \boldsymbol{\mu}_q $ 와 일치한다는 사실을 활용하여 표현식을 단순화한다.
• 사전 분포가 균일한 경우(즉, $ \kappa_p \to 0 $)에 대해 KL 발산의 간결한 형태를 도출하여 $ \mathrm{KL}(q||p) = \kappa_q - \frac{d-1}{2}\log 2 $ 를 얻는다.

실험 결과

연구 질문

• RQ1 d차원 초구 위의 두 von Mises-Fisher 분포 간의 닫힌 형태 표현식은 무엇인가?
• RQ2 사전 분포가 초구 위에서 균일할 경우 KL 발산은 어떻게 단순화되는가?
• RQ3 수정 Bessel 함수와 감마 함수는 정규화 및 발산 계산에서 어떤 역할을 하는가?
• RQ4 고차원에서 작은 및 큰 집중 매개변수 $ \kappa $ 의 경우 KL 발산은 어떻게 행동하는가?
• RQ5 유도된 KL 발산은 방향 데이터에 대한 PAC-Bayesian 일반화 경계에 효과적으로 활용될 수 있는가?

주요 결과

• 두 vMF 분포 간의 KL 발산은 $ \kappa_q - \kappa_p \boldsymbol{\mu}_p^T \boldsymbol{\mu}_q + \frac{d-1}{2}\log \kappa_q + \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} - \frac{(d-1)^2}{4}\log \kappa_p + \frac{d-3}{2} \left(\frac{d-3}{2} + 1\right) \log \left(\frac{d-3}{2}\right) - \left(\frac{d-3}{2}\right)^2 + 1 $ 으로 유도되며, 이는 홀수 $ d $ 에 대해 유효하다.
• 균일한 사전 분포($ \kappa_p \to 0 $)의 특수한 경우에 대해 KL 발산은 $ \kappa_q - \frac{d-1}{2}\log 2 $ 로 단순화되어 계산 복잡도가 크게 감소한다.
• 이 유도 과정은 지수 적분과 수정 Bessel 함수를 포함한 적분 항등식에 의존하며, 특히 $ \int_{-1}^{1}(1-t)^d e^{t\kappa} dt $ 를 사용하여 정규화 항을 처리한다.
• $ \sum_{m=1}^{(d-3)/2} \frac{\kappa_q^m}{m!} $ 항은 $ \kappa_q $ 와 차원 $ d $ 에 따라 증가하므로, 큰 $ \kappa_q $ 에서 수치적 불안정성이 발생할 수 있음을 시사한다.
• $ \kappa_q $ 와 $ \kappa_p $ 에 대한 의존성은 잘 수렴하며, 균일한 사전 분포 하에서 단순화된 형태는 PAC-Bayesian 일반화 경계에 활용하기에 적합하다.
• 결과는 홀수 $ d $ 에 대해 유효하며, 짝수 $ d $ 는 추가적인 영차원을 더해 구조를 유지하면서 처리된다.