[논문 리뷰] On Rényi and Tsallis entropies and divergences for exponential families

Frank Nielsen, Richard Nock|arXiv (Cornell University)|2011. 05. 17.

Statistical Mechanics and Entropy참고 문헌 10인용 수 21

한 줄 요약

이 논문은 지수족 내에서 레니 및 تسallis 발산과 엔트로피에 대한 폐쇄형 표현식을 유도하며, 이러한 정보이론적 측정치가 누적 생성 함수와 자연 매개변수에 의해 결정됨을 보여준다. 주요 기여는 동일한 지수족에 속한 성분 간의 발산에 대한 일반적인 공식을 제공함으로써 최대우도 추정치를 통한 효율적 추정을 가능하게 한다.

ABSTRACT

Many common probability distributions in statistics like the Gaussian, multinomial, Beta or Gamma distributions can be studied under the unified framework of exponential families. In this paper, we prove that both Rényi and Tsallis divergences of distributions belonging to the same exponential family admit a generic closed form expression. Furthermore, we show that Rényi and Tsallis entropies can also be calculated in closed-form for sub-families including the Gaussian or exponential distributions, among others.

연구 동기 및 목표

• 동일한 지수족에 속한 확률분포 간의 레니 및 تسallis 발산에 대한 폐쇄형 표현식을 유도하기.
• 이 프레임워크를 레니 및 تسallis 엔트로피로 확장하여 샤논 엔트로피를 극한 경우로 포함하기.
• 일반적으로 사용되는 분포들인 가우시안, 다항분포, 지수족과 같은 분포들에 대한 일반화된 엔트로피와 발산의 통합적 분석 제공하기.
• 자연 매개변수의 최대우도 추정치를 사용하여 이러한 엔트로피와 발산을 효율적으로 추정할 수 있도록 하기.
• 레니 및 تسallis 발산과 클로이브-라이블러 및 바타차리야 발산과 같은 고전적 발산 간의 연결 고리 수립하기 — 비대칭 젠센 발산을 통한.

제안 방법

• 비대칭 젠센 발산 $ J_{F,\beta}(\theta:\theta') = \beta F(\theta) + (1-\beta)F(\theta') - F(\beta\theta + (1-\beta)\theta') $ 을 사용하여 레니 및 تسallis 발산을 유도하며, 이는 클로이브-라이블러 발산을 일반화한다.
• 레니 발산을 $ D_{\beta}^{R}(p:q) = \frac{J_{F,\beta}(\theta:\theta')}{1-\beta} $ 와 타illis 발산을 $ D_{\beta}^{T}(p:q) = \frac{e^{-J_{F,\beta}(\theta:\theta')} - 1}{\beta - 1} $ 로 표현하며, 이는 동일한 지수족에 속한 분포에 대해 유효하다.
• 레니 엔트로피를 $ H_{\beta}^{R}(p_F(\theta)) = \frac{1}{1-\beta} \big( F(\beta\theta) - \beta F(\theta) + \text{log} \text{E}_p[e^{(\beta-1)k(x)}] \big) $ 로 유도하며, 이는 캐리어 측도 $ k(x) $ 를 포함한다.
• 타illis 엔트로피를 $ H_{\beta}^{T}(p_F(\theta)) = \frac{1}{1-\beta} \big( e^{F(\beta\theta) - \beta F(\theta)} \text{E}_p[e^{(\beta-1)k(x)}] - 1 \big) $ 로 유도하며, 유사한 구조를 가진다.
• 캐리어 측도 $ k(x) = 0 $ 일 경우, 식이 $ H_{\beta}^{R} = \frac{F(\beta\theta) - \beta F(\theta)}{1-\beta} $ 와 $ H_{\beta}^{T} = \frac{e^{F(\beta\theta) - \beta F(\theta)} - 1}{1-\beta} $ 로 단순화됨을 보이며, 이는 가우시안, 지수, 베르누이 가족에 대해 유효하다.
• 독립 identically distributed 표본에서 자연 매개변수 $ \theta $ 의 최대우도 추정치를 사용하여 밀도 추정 없이도 엔트로피와 발산의 실용적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 동일한 지수족에 속한 분포들 간의 레니 및 타illis 발산은 폐쇄형으로 표현될 수 있는가?
• RQ2 캐리어 측도가 0인 지수족에 대해 레니 및 타illis 엔트로피는 어떻게 단순화되는가?
• RQ3 비율 $ \alpha \to 1 $ 의 극한에서, 레니/타illis 발산과 클로이브-라이블러 발산 간의 관계는 어떠한가?
• RQ4 비대칭 젠센 발산 $ J_{F,\alpha} $ 는 지수족 내에서 일반화된 발산을 위한 통합적 프레임워크로 기능할 수 있는가?
• RQ5 자연 매개변수의 최대우도 추정치를 사용하여 엔트로피와 발산을 얼마나 효율적으로 계산할 수 있는가?

주요 결과

• 동일한 지수족에 속한 두 성분 간의 레니 및 타illis 발산은 누적 생성 함수 $ F $ 와 비대칭 젠센 발산 $ J_{F,\alpha} $ 를 기반으로 폐쇄형 표현식을 가진다.
• 레니 발산 $ D_{\alpha}^{R}(p:q) = \frac{J_{F,\alpha}(\theta:\theta')}{1-\alpha} $ 와 타illis 발산 $ D_{\alpha}^{T}(p:q) = \frac{e^{-J_{F,\alpha}(\theta:\theta')} - 1}{\alpha - 1} $ 는 모든 $ \alpha \in (0,\infty) \setminus \{1\} $ 에 대해 유효하다.
• 캐리어 측도 $ k(x) = 0 $ 일 경우, 레니 및 타illis 엔트로피는 각각 $ H_{\alpha}^{R} = \frac{F(\alpha\theta) - \alpha F(\theta)}{1-\alpha} $ 와 $ H_{\alpha}^{T} = \frac{e^{F(\alpha\theta) - \alpha F(\theta)} - 1}{1-\alpha} $ 로 단순화된다.
• 샤논 엔트로피는 극한 $ \alpha \to 1 $ 에서 회복되며, $ H(p_F(\theta)) = F(\theta) - \langle \theta, \nabla F(\theta) \rangle - \mathbb{E}_p[k(x)] $ 를 얻으며, $ k(x) = 0 $ 일 경우 $ F(\theta) - \langle \theta, \nabla F(\theta) \rangle $ 로 단순화된다.
• 바타차리야 계수와 헬링거 거리는 특별한 경우로 $ \alpha = \frac{1}{2} $ 에서 회복되며, $ B(p,q) = e^{-J_{F,1/2}(\theta:\theta')} $ 와 $ H(p,q) = \sqrt{1 - e^{-J_{F,1/2}(\theta:\theta')}} $ 이다.
• 자연 매개변수의 최대우도 추정치 $ \hat{\theta} = (\nabla F)^{-1}(\frac{1}{n}\sum t(x_i)) $ 는 밀도 추정 없이도 엔트로피와 발산의 효율적이고 폐쇄형 계산을 가능하게 한다.