[논문 리뷰] A closed-form formula for the Kullback-Leibler divergence between Cauchy distributions

Frédéric Chyzak, Frank Nielsen|arXiv (Cornell University)|2019. 05. 27.

Statistical Mechanics and Entropy참고 문헌 12인용 수 12

한 줄 요약

이 논문은 코시 분포 두 개 사이의 칼리브-라이블러(Kullback-Leibler, KL) 발산에 대한 닫힌 형태의 공식을 유도하며, 이 발산이 항상 유한하고 대칭적임을 보여준다. 마이플(MaPle)의 Mgfun 패키지를 이용한 기호적 계산을 통해 여섯 개의 매개변수를 포함하는 정적분을 평가함으로써 핵심 결과를 도출한다: KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂), 여기서 l과 s는 위치 및 척도 매개변수이다.

ABSTRACT

We report a closed-form expression for the Kullback-Leibler divergence between Cauchy distributions which involves the calculation of a novel definite integral. The formula shows that the Kullback-Leibler divergence between Cauchy densities is always finite and symmetric.

연구 동기 및 목표

• 두 코시 확률 밀도 함수 간의 칼리브-라이블러 발산에 대한 닫힌 형태의 표현식을 유도하는 것.
• 코시 분포 간의 KL 발산이 코시 분포의 무거운 尾(꼬리)에도 불구하고 항상 유한함을 입증하는 것.
• 일반적으로 위치-척도 가족에서 성립하지 않는 바에, 코시 가족 내에서 KL 발산의 대칭성을 보여주는 것.
• 코시 가족 내에서 교차 엔트로피와 미분 엔트로피를 계산적으로 다룰 수 있는 공식을 제공하는 것.

제안 방법

• 저자들은 KL 발산을 교차 엔트로피와 미분 엔트로피의 차로 표현하여 문제를 두 코시 밀도 함수 간의 교차 엔트로피 계산으로 환원한다.
• 교차 엔트로피 항을 포괄하는 매개변수적 정적분 A(a,b,c;d,e,f) = ∫[−∞,∞] log(dx²+ex+f)/(ax²+bx+c) dx 를 정의한다.
• Mgfun 패키지를 이용해 A(a,b,c;d,e,f)에 대한 닫힌 형태의 해를 도출하며, 이는 매개변수에 대한 로그 및 루트 항을 포함한다.
• 창의적 텔레스코핑과 기호적 적분을 통해 해를 유도하였으며, 적분 상수를 수정하기 위해 미분 및 극한 분석을 통해 검증하였다.
• 변수 치환을 통해 일반적인 경우를 표준 형태로 환원함으로써 최종 KL 발산 공식을 도출하였다.
• 결과는 알려진 특수 케이스를 복원함으로써 확인되었다: 척도 가족(l₁=l₂)과 위치 가족(s₁=s₂)의 경우로, 일관성을 입증하였다.

실험 결과

연구 질문

• RQ1 두 코시 분포 간의 칼리브-라이블러 발산에 대해 닫힌 형태의 표현식이 존재하는가?
• RQ2 코시 분포의 무거운 꼬리에도 불구하고 코시 밀도 함수 간의 KL 발산이 여전히 유한한가?
• RQ3 일반적인 위치-척도 가족과 달리, 코시 분포 매개변수에 대해 KL 발산이 대칭적인가?
• RQ4 동일한 프레임워크를 사용하여 코시 분포의 교차 엔트로피와 미분 엔트로피를 닫힌 형태로 표현할 수 있는가?

주요 결과

• 매개변수 (l₁,s₁)와 (l₂,s₂)를 가진 두 코시 밀도 함수 간의 KL 발산은 다음과 같은 닫힌 형태의 표현식으로 주어진다: KL(p₁‖p₂) = log[(s₁+s₂)² + (l₁−l₂)²]/(4s₁s₂).
• KL 발산은 항상 유한하며, 코시 분포의 무거운 꼬리에도 불구하고 상대 엔트로피의 발산에 대한 잠재적 우려를 해결한다.
• KL 발산은 대칭적이다: KL(p₁‖p₂) = KL(p₂‖p₁), 이는 정규 분포와 같은 대부분의 위치-척도 가족에서 성립하지 않는 성질이다.
• 척도 가족(l₁=l₂=l)의 경우, KL 발산은 2 log[(s₁+s₂)/(2√(s₁s₂))]로 단순화되며, 이는 기존에 알려진 결과를 복원한다.
• 위치 가족(s₁=s₂=s)의 경우, KL 발산은 log[1 + (l₁−l₂)²/(4s²)]로 변형되며, 기존에 알려진 공식과 일치한다.
• 위치 l과 척도 s를 가진 코시 분포의 미분 엔트로피는 h(p) = log(4πs)로 주어지며, 이는 이전 문헌과 일치한다.