[논문 리뷰] On the Kullback-Leibler divergence between discrete normal distributions

Frank Nielsen|arXiv (Cornell University)|2021. 01. 01.

Statistical Mechanics and Entropy참고 문헌 45인용 수 1

한 줄 요약

이 논문은 정수 격자 위의 이산 정규 분포 간의 Kullback-Leibler (KL) 발산에 대해 폐쇄형 공식과 효율적인 근사 기법을 제시한다. 이는 Riemann θ 함수와 사영적 γ-발산을 활용하여 고차원 격자 가우시안 모델에서 통계적 발산을 정확하고 스케일러블하게 계산할 수 있도록 한다. 주요 결과로는, γ ≈ 1인 γ-발산이 θ 타원체 위의 유한 격자 합산을 통해 KL 발산을 밀도 있게 근사함을 보여준다.

ABSTRACT

Discrete normal distributions are defined as the distributions with prescribed means and covariance matrices which maximize entropy on the integer lattice support. The set of discrete normal distributions form an exponential family with cumulant function related to the Riemann theta function. In this paper, we present several formula for common statistical divergences between discrete normal distributions including the Kullback-Leibler divergence. In particular, we describe an efficient approximation technique for calculating the Kullback-Leibler divergence between discrete normal distributions via the Rényi $α$-divergences or the projective $γ$-divergences.

연구 동기 및 목표

• 정수 격자 위의 이산 정규 분포 간의 통계적 발산, 특히 Kullback-Leibler 발산에 대한 폐쇄형 표현을 유도하는 것.
• 격자 가우시안의 모멘트 생성 함수와 Siegel 상부 공간 상의 Riemann θ 함수 사이의 관계를 설정하는 것.
• θ 타원체 위의 유한 합산을 이용한 프로젝티브 γ-발산과 함께 KL 발산에 대한 수치적으로 효율적인 근사 방법을 개발하는 것.
• 정규화가 계산이 불가능한 고차원 격자 가우시안 모델에서의 스케일러블한 통계적 추론을 가능하게 하는 것.

제안 방법

• 자연 매개변수와 Riemann θ 함수 간의 관계를 누적 함수를 통해 연결함으로써 정수 격자 위의 이산 정규 분포를 지수족으로 기술한다.
• θ 함수 θΛ(ξ)를 사용하여 KL 발산, Rényi α-발산, Sharma-Mittal 발산, γ-발산의 정확한 폐쇄형 표현을 유도한다.
• 무한합을 θ 타원체 Eξ와 Eξ′ 내의 유한합으로 대체함으로써 γ가 1에 가까운 경우에 대해 KL 발산의 효율적 근사를 제안한다.
• θ 타원체를 계산적으로 다룰 수 있는 영역으로 활용하여 분할 함수를 근사하고, 비정규화된 밀도를 정규화한다.
• γ-발산의 사영적 불변성을 활용하여 정규화 상수를 제거하고, 비정규화된 밀도에서 직접 계산을 수행한다.
• 수치 예제를 통한 검증을 통해 고차원에서의 스케일러비리티를 입증한다.

실험 결과

연구 질문

• RQ1 정수 격자 위의 두 이산 정규 분포 간의 Kullback-Leibler 발산이 특수 함수를 사용해 폐쇄형으로 표현될 수 있는가?
• RQ2 격자 가우시안 모델에서 계산이 불가능한 정규화 상수는 발산 계산에 어떻게 다루어질 수 있는가?
• RQ3 격자 가우시안에서 γ → 1의 극한에서 γ-발산이 KL 발산을 어느 정도 정확하게 근사할 수 있는가?
• RQ4 고차원 환경에서 θ 타원체로 합산 영역을 제한할 경우 계산적 영향은 어떠한가?
• RQ5 Cauchy-Schwarz 발산과 같은 사영적 발산은 격자 가우시안에 대해 폐쇄형으로 표현될 수 있는가?

주요 결과

• 두 격자 가우시안 간의 Kullback-Leibler 발산은 Riemann θ 함수를 통해 폐쇄형으로 표현 가능하다: DKL[pξ : pξ′] = log(θΛ(ξ′)/θΛ(ξ)) − 2πμ⊤(ξ′₁ − ξ₁) + π tr((ξ′₂ − ξ₂)(Σ + μμ⊤)).
• γ-발산은 정확한 폐쇄형 표현을 갖는다: Dγ[pξ : pξ′] = 1/(γ(γ−1)) log( θΛ(γξ) θΛ(γξ′)γ−1 / θΛ(ξ + (γ−1)ξ′)γ ).
• γ ≈ 1인 경우(예: γ = 1 + 10⁻⁵)에 γ-발산은 점점 KL 발산으로 수렴하여 정확한 근사를 가능하게 한다.
• θ 타원체 Rξ,ξ′ 위의 유한 합산을 통한 KL 발산 근사는 고차원에서 스케일러블하고 정확한 추정을 가능하게 한다.
• 격자 가우시안 간의 Cauchy-Schwarz 발산은 DCS[pξ : pξ′] = log(√(θΛ(2ξ)θΛ(2ξ′)) / θΛ(ξ+ξ′))로 주어진다.
• 수치 실험을 통해 방법의 정확성과 효율성이 확인되었으며, 특히 합산 영역을 θ 타원체로 제한함으로써 성능 향상이 이루어졌다.