[論文レビュー] Estimators, escort probabilities, and phi-exponential families in statistical physics

Jan Naudts|arXiv (Cornell University)|Feb 4, 2004

Statistical Mechanics and Entropy参考文献 15被引用数 71

ひとこと要約

この論文は、エスコート確率と一般化されたCramér-Rao不等式を用いて、統計学および統計物理学における指数型分布族の一般化として$φ$-指数型族を導入する。自然パラメータと期待値パラメータの二重構造を確立し、$φ$-指数型族が一般化された不等式を最適化し、Tsallisの熱力学的統計、Amariの$α$-族、標準的な指数型族を一つの幾何学的枠組みで統一することを示す。

ABSTRACT

The lower bound of Cramer and Rao is generalized to pairs of families of probability distributions, one of which is escort to the other. This bound is optimal for certain families, called phi-exponential in the paper. Their dual structure is explored.

研究の動機と目的

• エスコート確率のペアを用いて、推定量のCramér-Rao下界を一般化すること。
• 一般化された下界が最適となる条件を特定し、$φ$-指数型族を定義すること。
• 標準的な指数型族に類似した自然パラメータと期待値パラメータの二重パラメータ化構造を、一般化された幾何学的設定において確立すること。
• 統計物理学における既知の族（Tsallisの平衡分布やAmariの$α$-族など）を、関数$φ$に基づく単一の枠組みで統一すること。
• 一般化されたエントロピー関数が$φ$-指数型族によって最大化されることを示し、情報幾何と非拡張的統計力学を結びつけること。

提案手法

• 与えられた族$p_{\theta}$に対して、$P_{\theta}(x) \propto p_{\theta}(x)^q$（ある$q$に対して）となるエスコート確率分布$P_{\theta}$の概念を導入する。
• Fisher情報の一般化として、$p_{\theta}$とそのエスコート$P_{\theta}$に依存する計量$g_{kl}(\theta) = \int \frac{1}{P_{\theta}(x)} \frac{\partial p_{\theta}}{\partial \theta^k} \frac{\partial p_{\theta}}{\partial \theta^l} d\mu(x)$を定義する。
• 厳密に正で非減少な関数$\phi$に対して、$\ln_{\phi}(x) = \int_0^x \frac{du}{\phi(u)}$として$φ$-対数関数を定義し、その逆関数を$φ$-指数関数とする。
• パラメータ$\theta$による$φ$-指数型族を$p_{\theta}(x) = \frac{1}{Z(\theta)} \exp_{\phi}(\theta^k c_k(x) - F(\theta))$として構成する。ここで$\exp_{\phi}$は$φ$-指数関数であり、$Z(\theta)$は正規化定数である。
• 一般化された情報幾何を定義するために、Bregman型の発散$D_{\phi}(p||p') = \int \left[ \phi(p) - \phi(p') - \phi'(p')(p - p') \right] d\mu$を導出する。
• 双対座標$\eta_k = \mathbb{E}_\theta[c_k]$を定義し、$\theta^k = \frac{\partial}{\partial \eta_k} I_\phi(p_\theta)$という双対性関係を証明する。ここで$I_\phi$は一般化されたエントロピー関数である。

実験結果

リサーチクエスチョン

• RQ1 Fisher情報が、片方がもう片方のエスコートである確率族のペアから導かれる計量に置き換えられる場合、Cramér-Rao下界をどのように一般化できるか。
• RQ2 一般化されたCramér-Rao下界において最適性に達するための統計的族が満たすべき条件は何か。
• RQ3 関数$\phi$の導入が指数型族の一般化にどのように寄与するか、およびその結果得られる幾何学的・統計的性質は何か。
• RQ4 エスコート分布が、一般化された族における双対パラメータ化（自然パラメータと期待値パラメータ）の定義において果たす役割は何か。
• RQ5 $φ$-指数型族によって最大化される一般化されたエントロピー関数を導出可能か。また、これはBregman発散とどのように関係するか。

主な発見

• 計量$g_{kl}(\theta)$が$p_{\theta}$とそのエスコート$P_{\theta}$から導かれる一般化されたCramér-Rao不等式は、$φ$-指数型族においてのみ最適である。
• $φ$-指数型族は、$p_{\theta}(x) = \frac{1}{Z(\theta)} \exp_{\phi}(\theta^k c_k(x) - F(\theta))$として定義され、ここで$\exp_{\phi}$は$φ$-対数関数$\ln_{\phi}(x) = \int_0^x \frac{du}{\phi(u)}$の逆関数である。
• $\phi(x) = x$のとき標準的な指数型族が得られ、$\phi(x) = x^{(1+\alpha)/2}$のときAmariの$α$-族が得られ、$\phi(x) = x^q$のときTsallisの平衡分布が得られる。
• 双対座標$\eta_k = \mathbb{E}_\theta[c_k]$は、$\theta^k = \frac{\partial}{\partial \eta_k} I_\phi(p_\theta)$という双対性関係を満たす。ここで$I_\phi(p_\theta)$は一般化されたエントロピー関数である。
• Bregman型発散$D_{\phi}(p||p') = \int \left[ \phi(p) - \phi(p') - \phi'(p')(p - p') \right] d\mu$を用いて、$φ$-指数型族がモーメント制約の下で$I_\phi(p)$を最大化することを証明した。
• 計量テンソル$g_{kl}(\theta)$は、$\frac{\partial \theta^k}{\partial \eta^l} = -Z(\theta) g^{kl}(\theta)$を満たし、統計多様体における$\theta$と$\eta$座標系の直交性を確認した。