[論文レビュー] A note on Onicescu's informational energy and correlation coefficient in exponential families

Frank Nielsen|arXiv (Cornell University)|Jan 1, 2020

Statistical Mechanics and Entropy参考文献 24被引用数 2

ひとこと要約

本稿では、自然パrameter化とモーメント母関数を用いて、指数型分布族におけるOnicescuの情報的エネルギーおよびその関連相関係数の閉形式式を導出する。ポアソン、正規（単変量および多変量）、パレート分布といった主要な分布に対して明示的な公式を提供し、カウチ＝シュバルツの分散尺度などの統計的発散尺度の効率的計算と理論的分析を可能にする。

ABSTRACT

The informational energy of Onicescu is a positive quantity that measures the amount of uncertainty of a random variable. But contrary to Shannon's entropy, the informational energy increases when randomness decreases. We report closed-form formula for Onicescu's informational energy and its associated correlation coefficient when the probability distributions belong to an exponential family. We show how to instantiate the generic formula for several common exponential families.

研究の動機と目的

• 指数型分布族におけるOnicescuの情報的エネルギーおよびその相関係数の閉形式式を導出すること。
• カウチ＝シュバルツの分散尺度を含む統計的発散尺度の計算を、一般的なパラメトリック族に統一的に扱えるようにすること。
• ポアソン、正規、パレート分布を含む特定の指数型分布族への適用を通じて、これらの公式の実用的有用性を示すこと。
• 自然パrameter化とモーメント母関数を用いた情報的エネルギーおよび相関係数の計算の体系的フレームワークを提供すること。

提案手法

• 指数型分布族の自然パrameter化を用い、情報的エネルギーをモーメント母関数 F(θ) を通じて表現する。
• 恒等式 I(pθ) = exp(F(2θ) − 2F(θ)) を適用し、モーメント関数を用いて情報的エネルギーを計算する。
• 同じ指数型分布族に属する密度関数のペアに対する相互情報的エネルギー I(p, q) = ∫p(x)q(x)dµ(x) を導出する。
• 導出したエネルギー式を用いて、Onicescuの相関係数 ρ(p, q) = I(p, q)/√(I(p)I(q)) を計算する。
• 一般式を具体的な分布族に適用：ポアソン（階乗モーメントを用い）、正規（ガウス積分を用い）、パレート（べき乗則積分を用い）。
• 記号計算システム（Maxima）を用いた記号的計算により結果を検証し、直接積分を回避する。

実験結果

リサーチクエスチョン

• RQ1 自然パrameter化を用いることで、すべての指数型分布族に対してOnicescuの情報的エネルギーの閉形式式を導出可能か？
• RQ2 ポアソン、正規、パレート分布といった代表的なパラメトリック族において、情報的エネルギーおよび相関係数はどのように振る舞うか？
• RQ3 指数型分布族において、モーメント母関数と情報的エネルギーの関係は何か？
• RQ4 導出したエネルギー式を用いて、カウチ＝シュバルツの分散尺度をどのように効率的に計算できるか？
• RQ5 記号計算システムは、さまざまな指数型分布族におけるこれらのエネルギー式の導出を自動化できるか？

主な発見

• パラメータ λ のポアソン分布に対して、自然パrameter θ = log λ の下で、情報的エネルギーは I(pλ) = exp(λ² − 2λ) · E[1/X!] で与えられる。
• 単変量正規分布に対して、情報的エネルギーは I(pθ) = 1/(2σ√π) であり、相関係数は ρ = √(2σ₁σ₂/(σ₁² + σ₂²)) · exp(−(μ₁−μ₂)²/(2σ₁² + 2σ₂²)) である。
• 多変量正規分布族に対して、情報的エネルギーは I(pθ) = 1/(2^d π^{d/2} |Σ|^{1/2}) で与えられ、精度行列（逆分散共分散行列）を用いて導出される。
• 二つの単変量ガウス分布間のカウチ＝シュバルツの分散尺度は DCS = (μ₁−μ₂)²/(2σ₁² + 2σ₂²) + ½ log(½(σ₁/σ₂ + σ₂/σ₁)) で与えられる。
• 形状パラメータ a とスケールパラメータ k のパレート分布に対して、情報的エネルギーは I(pa) = a²/(k(2a + 1)) で与えられ、直接積分により導出され、記号計算により検証済みである。
• 本手法により、コンピュータ代数システムを用いたエネルギー式の自動導出が可能であり、Maxima は記号的積分を回避してパレート分布のエネルギーを正常に計算した。