[論文レビュー] On Rényi and Tsallis entropies and divergences for exponential families

Frank Nielsen, Richard Nock|arXiv (Cornell University)|May 17, 2011

Statistical Mechanics and Entropy参考文献 10被引用数 21

ひとこと要約

この論文は、指数型分布族におけるRényiおよびTsallisの発散とエントロピーについて、閉形式の表現を導出している。これらの情報理論的測度は、すべて累積生成関数と自然パラメータにのみ依存することを示している。主な貢献は、同じ指数型分布族に属する分布間の発散を扱う汎用的な公式の提供であり、自然パラメータの最尤推定値を用いた効率的な推定を可能としている。

ABSTRACT

Many common probability distributions in statistics like the Gaussian, multinomial, Beta or Gamma distributions can be studied under the unified framework of exponential families. In this paper, we prove that both Rényi and Tsallis divergences of distributions belonging to the same exponential family admit a generic closed form expression. Furthermore, we show that Rényi and Tsallis entropies can also be calculated in closed-form for sub-families including the Gaussian or exponential distributions, among others.

研究の動機と目的

• 同じ指数型分布族に属する確率分布間のRényiおよびTsallis発散について、閉形式の表現を導出すること。
• この枠組みをRényiおよびTsallisエントロピーへと拡張し、シャノンエントロピーを極限ケースとして含めること。
• ガウス分布、多項分布、指数型分布族など広く用いられる分布の一般化エントロピーと発散を統一的に解析的に取り扱うこと。
• 自然パラメータの最尤推定値を用いて、これらのエントロピーと発散を効率的に推定できることを実現すること。
• RényiおよびTsallis発散と、Kullback-Leibler発散やBhattacharyya発散といった古典的発散との間の関係を、歪みJensen発散を通じて確立すること。

提案手法

• スカラーJensen発散 $ J_{F,\beta}(\theta:\theta') = \beta F(\theta) + (1-\beta)F(\theta') - F(\beta\theta + (1-\beta)\theta') $ を用いて、RényiおよびTsallis発散を導出している。これはKullback-Leibler発散を一般化する。
• Rényi発散を $ D_{\beta}^{R}(p:q) = \frac{J_{F,\beta}(\theta:\theta')}{1-\beta} $ と表現し、Tsallis発散を $ D_{\beta}^{T}(p:q) = \frac{e^{-J_{F,\beta}(\theta:\theta')} - 1}{\beta - 1} $ と表現している。これらは同じ指数型分布族に属する分布に対して有効である。
• Rényiエントロピーを $ H_{\beta}^{R}(p_F(\theta)) = \frac{1}{1-\beta} \big( F(\beta\theta) - \beta F(\theta) + \text{log} \text{E}_p[e^{(\beta-1)k(x)}] \big) $ として導出しており、キャリア測度 $ k(x) $ を組み込んでいる。
• Tsallisエントロピーを $ H_{\beta}^{T}(p_F(\theta)) = \frac{1}{1-\beta} \big( e^{F(\beta\theta) - \beta F(\theta)} \text{E}_p[e^{(\beta-1)k(x)}] - 1 \big) $ として導出し、類似した構造を持つ。
• キャリア測度 $ k(x) = 0 $ のとき、式は $ H_{\beta}^{R} = \frac{F(\beta\theta) - \beta F(\theta)}{1-\beta} $ および $ H_{\beta}^{T} = \frac{e^{F(\beta\theta) - \beta F(\theta)} - 1}{1-\beta} $ に簡略化され、ガウス分布、指数分布、ベルヌーイ分布の族に対して有効である。
• i.i.d.標本からの自然パラメータ $ \theta $ の最尤推定値を用いて、密度推定を伴わずにエントロピーと発散の実用的計算を可能としている。

実験結果

リサーチクエスチョン

• RQ1 同じ指数型分布族に属する分布間のRényiおよびTsallis発散は、閉形式で表現可能か？
• RQ2 キャリア測度 $ k(x) = 0 $ の指数型分布族において、RényiおよびTsallisエントロピーはどのように簡略化されるか？
• RQ3 極限 $ \alpha \to 1 $ において、Rényi/Tsallis発散とKullback-Leibler発散の関係は何か？
• RQ4 スカラーJensen発散 $ J_{F,\alpha} $ は、指数型分布族における一般化発散の統一的枠組みとして機能できるか？
• RQ5 自然パラメータの最尤推定値を用いて、エントロピーと発散をどれほど効率的に計算できるか？

主な発見

• 同じ指数型分布族に属する2つの分布間のRényiおよびTsallis発散は、累積生成関数 $ F $ とスカラーJensen発散 $ J_{F,\alpha} $ に依存する閉形式の表現を有する。
• Rényi発散 $ D_{\alpha}^{R}(p:q) = \frac{J_{F,\alpha}(\theta:\theta')}{1-\alpha} $ およびTsallis発散 $ D_{\alpha}^{T}(p:q) = \frac{e^{-J_{F,\alpha}(\theta:\theta')} - 1}{\alpha - 1} $ は、すべての $ \alpha \in (0,\infty) \setminus \{1\} $ に対して有効である。
• キャリア測度 $ k(x) = 0 $ のとき、RényiおよびTsallisエントロピーはそれぞれ $ H_{\alpha}^{R} = \frac{F(\alpha\theta) - \alpha F(\theta)}{1-\alpha} $ および $ H_{\alpha}^{T} = \frac{e^{F(\alpha\theta) - \alpha F(\theta)} - 1}{1-\alpha} $ に簡略化される。
• シャノンエントロピーは極限 $ \alpha \to 1 $ において回復され、$ H(p_F(\theta)) = F(\theta) - \langle \theta, \nabla F(\theta) \rangle - \mathbb{E}_p[k(x)] $ を得る。$ k(x) = 0 $ のとき、これは $ F(\theta) - \langle \theta, \nabla F(\theta) \rangle $ に簡略化される。
• Bhattacharyya係数およびヘルンガー距離は、$ \alpha = \frac{1}{2} $ の特別な場合として回復され、$ B(p,q) = e^{-J_{F,1/2}(\theta:\theta')} $ および $ H(p,q) = \sqrt{1 - e^{-J_{F,1/2}(\theta:\theta')}} $ が成り立つ。
• 自然パラメータの最尤推定値 $ \hat{\theta} = (\nabla F)^{-1}(\frac{1}{n}\sum t(x_i)) $ を用いることで、密度推定を伴わず、エントロピーと発散を効率的に閉形式で計算できる。