[논문 리뷰] A note on Onicescu's informational energy and correlation coefficient in exponential families

Frank Nielsen|arXiv (Cornell University)|2020. 01. 01.

Statistical Mechanics and Entropy참고 문헌 24인용 수 2

한 줄 요약

이 논문은 자연 매개변수화와 모멘트 생성 함수를 활용하여 지수형 가족 내에서 Onicescu의 정보 에너지 및 관련 상관계수에 대한 닫힌 형태의 표현식을 유도한다. 포아송, 정규분포(일변량 및 다변량), 파레토 분포와 같은 주요 분포에 대해 명시적인 공식을 제공함으로써 코시-슈바르츠 발산과 같은 통계적 발산 측도의 효율적 계산과 이론적 분석을 가능하게 한다.

ABSTRACT

The informational energy of Onicescu is a positive quantity that measures the amount of uncertainty of a random variable. But contrary to Shannon's entropy, the informational energy increases when randomness decreases. We report closed-form formula for Onicescu's informational energy and its associated correlation coefficient when the probability distributions belong to an exponential family. We show how to instantiate the generic formula for several common exponential families.

연구 동기 및 목표

• 지수형 가족 내에서 Onicescu의 정보 에너지 및 그 상관계수에 대한 닫힌 형태의 표현식을 유도하는 것.
• 코시-슈바르츠 발산과 같은 통계적 발산의 계산을 일반적인 파rametric 가족 간에 통합하는 것.
• 포아송, 정규분포 및 파레토 분포와 같은 특정 지수형 가족에 대한 공식의 적용을 통해 실용적 유용성을 입증하는 것.
• 자연 매개변수화와 모멘트 생성 함수를 이용한 정보 에너지 및 상관계수 계산을 위한 체계적인 프레임워크를 제공하는 것.

제안 방법

• 지수형 가족의 자연 매개변수화를 활용하여 정보 에너지를 모멘트 생성 함수 F(θ)를 통해 표현한다.
• I(pθ) = exp(F(2θ) − 2F(θ))라는 항등식을 적용하여 모멘트 함수를 이용해 정보 에너지를 계산한다.
• 동일한 지수형 가족에 속하는 밀도 쌍에 대해 I(p, q) = ∫p(x)q(x)dµ(x)의 교차 정보 에너지를 유도한다.
• 유도된 에너지 표현식을 사용해 Onicescu의 상관계수를 ρ(p, q) = I(p, q)/√(I(p)I(q))로 계산한다.
• 일반 공식을 특정 가족에 적용: 포아송(계승 모멘트를 통한), 정규분포(가우시안 적분을 통한), 파레토(거듭제곱 법칙 적분을 통한).
• 기계 대수 시스템(Maxima)를 통한 기호 계산을 활용해 결과를 검증함으로써 직접 적분을 회피한다.

실험 결과

연구 질문

• RQ1 자연 매개변수화를 사용하여 모든 지수형 가족에 대해 Onicescu의 정보 에너지에 대한 닫힌 형태의 표현식을 도출할 수 있는가?
• RQ2 포아송, 정규분포 및 파레토 분포와 같은 잘 알려진 파rametric 가족에서 정보 에너지 및 상관계수는 어떻게 행동하는가?
• RQ3 지수형 가족 내에서 모멘트 생성 함수와 정보 에너지 사이의 관계는 무엇인가?
• RQ4 유도된 에너지 공식을 통해 코시-슈바르츠 발산을 어떻게 효율적으로 계산할 수 있는가?
• RQ5 기호 계산 시스템은 다양한 지수형 가족 간의 이러한 에너지 표현식 유도를 자동화할 수 있는가?

주요 결과

• 파라미터 λ를 가진 포아송 분포에 대해 자연 매개변수 θ = log λ 하에서 정보 에너지는 I(pλ) = exp(λ² − 2λ) · E[1/X!]이다.
• 일변량 정규분포에 대해 정보 에너지는 I(pθ) = 1/(2σ√π)이며, 상관계수는 ρ = √(2σ₁σ₂/(σ₁² + σ₂²)) · exp(−(μ₁−μ₂)²/(2σ₁² + 2σ₂²))이다.
• 다변량 정규분포 가족에 대해 정보 에너지는 I(pθ) = 1/(2^d π^{d/2} |Σ|^{1/2})로, 역 공분산 행렬을 사용해 도출된다.
• 두 개의 일변량 가우스 분포 간의 코시-슈바르츠 발산은 DCS = (μ₁−μ₂)²/(2σ₁² + 2σ₂²) + ½ log(½(σ₁/σ₂ + σ₂/σ₁))이다.
• 형태 파라미터 a와 척도 파라미터 k를 가진 파레토 분포에 대해 정보 에너지는 I(pa) = a²/(k(2a + 1))로, 직접 적분을 통해 도출되었으며 기호 계산을 통해 검증되었다.
• 이 방법은 기계 대수 시스템을 통해 에너지 공식의 자동 유도를 가능하게 하며, Maxima는 기호 적분 없이도 파레토 에너지를 성공적으로 계산하였다.