[논문 리뷰] Cumulant-free closed-form formulas for some common (dis)similarities between densities of an exponential family

Frank Nielsen, Richard Nock|arXiv (Cornell University)|2020. 03. 05.

Bayesian Methods and Mixture Models참고 문헌 45인용 수 4

한 줄 요약

이 논문은 지수족 밀도 간의 일반적인 (비)유사도—Kullback-Leibler, Bhattacharyya, Hellinger, α-분산 등—에 대한 누산함수를 사용하지 않는 폐쇄형 공식을 제시한다. 쿼اسي 산술 평균과 캐논리컬 매개수 표현을 활용하여 누산함수의 명시적 계산을 피함으로써, 부분 밀도 인수분해와 역 매개수 변환만을 사용하여 기존 API를 활용한 효율적 구현이 가능해진다.

ABSTRACT

It is well-known that the Bhattacharyya, Hellinger, Kullback-Leibler, $α$-divergences, and Jeffreys' divergences between densities belonging to a same exponential family have generic closed-form formulas relying on the strictly convex and real-analytic cumulant function characterizing the exponential family. In this work, we report (dis)similarity formulas which bypass the explicit use of the cumulant function and highlight the role of quasi-arithmetic means and their multivariate mean operator extensions. In practice, these cumulant-free formulas are handy when implementing these (dis)similarities using legacy Application Programming Interfaces (APIs) since our method requires only to partially factorize the densities canonically of the considered exponential family.

연구 동기 및 목표

• 지수족 밀도 간의 주요 통계적 (비)유사도에 대한 폐쇄형 표현을 유도하며, 누산함수의 명시적 사용 없이 수행한다.
• Kullback-Leibler, Bhattacharyya, Hellinger 등의 분산을 표준 소프트웨어 API와 부분 밀도 인수분해만을 사용하여 실용적으로 계산할 수 있도록 한다.
• 이러한 (비)유사도가 자연 매개수 매핑에서 유도된 일반화된 가중 쿼اسي 산술 평균을 통해 계산될 수 있음을 보여준다.
• 누산함수가 계산이 불가능하거나 이용할 수 없을 경우의 분산에 대한 대체 계산 경로를 제공한다.

제안 방법

• 지수족 밀도의 캐논리컬 매개수 표현을 사용하여 (비)유사도를 자연 매개수 매핑 θ(λ)의 역함수와 관련된 쿼اسي 산술 평균 연산자로 표현한다.
• 기준점 ω를 지지집합 X 내에 선택하여 p(ω;λ)를 계산 기반으로 사용함으로써 Bhattacharyya 계수 및 관련 분산을 정의한다.
• Kullback-Leibler 분산의 경우, α-편향 Bhattacharyya 거리의 극한 표현식 또는 가중 평균의 일계수 근사식을 사용하여 누산함수 평가를 피한다.
• 또한, KL 분산을 엔트로피, 모멘트 및 로그 밀도 비율로 표현하는 레전드르-펜첼 포물형 이중성 공식을 활용하여 누산함수를 피한다.
• 이 방법은 KL 분산을 원천 분포의 일계수 모멘트를 만족하는 s ≤ D+1개의 샘플 점 ω_i에 대해 로그 밀도 비율의 가중합으로 표현할 수 있도록 한다.
• 구현은 표준 매개수 밀도 라이브러리를 활용하며, 점별 평가와 역 매개수 함수를 사용하여 기호적 적분을 피한다.

실험 결과

연구 질문

• RQ1 지수족 밀도 간의 일반적인 (비)유사도는 누산함수의 명시적 계산 없이 표현될 수 있는가?
• RQ2 쿼اسي 산술 평균은 Bhattacharyya 및 Hellinger 분산에 대한 폐쇄형 공식을 어떻게 구성할 수 있는가?
• RQ3 누산함수가 계산이 불가능할 경우 Kullback-Leibler 분산에 대한 대체 계산 경로는 무엇이 있는가?
• RQ4 유한한 수의 샘플 점 ω_i를 사용하여 로그 밀도 비율을 통해 KL 분산을 정확히 표현할 수 있는가?

주요 결과

• Bhattacharyya 계수 및 관련 분산(Hellinger, α-분산)은 지지집합 X 내의 임의의 점 ω에서 계산 가능하며, 공식은 오직 p(ω;λ)와 매개수의 일반화된 쿼اسي 산술 평균에만 의존한다.
• Kullback-Leibler 분산은 α-편향 Bhattacharyya 거리의 극한으로 표현될 수 있으며, 기호적 또는 수치적 근사로 누산함수 평가를 피할 수 있다.
• 일변량 및 다변량 정규분포 가족의 경우, KL 분산 합 공식에 필요한 샘플 점 ω_i는 일계수 모멘트를 만족하도록 명시적으로 구성할 수 있다.
• KL 분산은 차원 D에 대해 s ≤ D+1개의 점에서 로그 밀도 비율의 합으로 재작성될 수 있으며, 이는 누산함수 평가 없이 정확한 계산을 가능하게 한다.
• Jeffreys 분산은 자연 매개수의 차이와 충분통계량 기대값의 차이의 내적과 동일하며, 이는 누산함수에 의존하지 않는 형태이다.