[論文レビュー] Generalized information-entropy measures and Fisher information

Marco Masi|arXiv (Cornell University)|Nov 11, 2006

Statistical Mechanics and Entropy参考文献 20被引用数 13

ひとこと要約

本稿は、q-変形対数関数・指数関数形式を用いて、一般化エントロピー測度—Rényi、Tsallis、Sharma-Mittal、および超拡張エントロピー—をフィッシャー情報量と結びつける統一的枠組みを確立する。フィッシャー情報量行列が、統計多様体上におけるすべてのこのようなエントロピーのメトリックテンソルとして自然に出現することを示し、そのメトリックは系の拡張性（extensive または non-extensive）に依存せず、パラメータ変化に伴う多重度の変化率に比例する。

ABSTRACT

We show how Fisher's information already known particular character as the fundamental information geometric object which plays the role of a metric tensor for a statistical differential manifold, can be derived in a relatively easy manner through the direct application of a generalized logarithm and exponential formalism to generalized information-entropy measures. We shall first shortly describe how the generalization of information-entropy measures naturally comes into being if this formalism is employed and recall how the relation between all the information measures is best understood when described in terms of a particular logarithmic Kolmogorov-Nagumo average. Subsequently, extending Kullback-Leibler's relative entropy to all these measures defined on a manifold of parametrized probability density functions, we obtain the metric which turns out to be the Fisher information matrix elements times a real multiplicative deformation parameter. The metrics independence from the non-extensive character of the system, and its proportionality to the rate of change of the multiplicity under a variation of the statistical probability parameter space, emerges naturally in the frame of this representation.

研究の動機と目的

• 情報幾何学におけるフィッシャー情報量の幾何的役割を、一般化エントロピー測度全体にわたり明確化すること。
• 一般化対数関数および指数関数に基づく共通の形式的枠組みを用いて、Rényi、Tsallis、Sharma-Mittal、および超拡張エントロピーを統一すること。
• 一般化された相対エントロピーに基づく一般化Kullback-Leibler発散を用いて、フィッシャー情報量が自然にメトリックテンソルとして出現することを示すこと。
• フィッシャー計量が、系の拡張性（extensive または non-extensive）に依存せず、唯一変形パラメータ q に依存することを示すこと。
• 統計的パラメータ変化に伴う多重度（微小状態数）の変化率に比例するとして、フィッシャー情報量を解釈すること。

提案手法

• 一般化対数関数および指数関数を用いたKolmogorov-Nagumo（KN）平均形式的枠組みを採用し、エントロピー測度の階層を定義する。
• q-変形対数関数および指数関数を用いて、Kullback-Leibler相対エントロピーを一般化エントロピーに拡張する。
• 分布が等しいとき（θ = φ）の一般化相対エントロピーのヘッセ行列としてフィッシャー情報行列を導出する。
• 多重度 Ω をエントロピーの代理として用い、パラメータ変化に伴う Ω の2階微分が、q に依存する係数を除いてフィッシャー計量に一致することを示す。
• 変形指数関数形式を適用し、Sharma-Mittal や超拡張エントロピーを多重度とパラメータ r および q でパラメータ化した形で表現する。
• 正規化制約によって、計量の対称性および系の拡張性に依存しない性質が保証されることを示す。

実験結果

リサーチクエスチョン

• RQ1 フィッシャー情報量は、ボルツマン＝ギブズの場合を越えて、一般化エントロピー測度に対してどのようにメトリックテンソルとして出現するのか？
• RQ2 q-変形対数関数および指数関数形式は、Rényi、Tsallis、Sharma-Mittal、および超拡張エントロピーを統一する上で果たす役割は何か？
• RQ3 なぜフィッシャー情報行列は、系が拡張的・非拡張的・超拡張的であるかにかかわらず不変なのか？
• RQ4 フィッシャー計量は、パラメータ変化に伴う多重度（微小状態数）の変化率とどのように関係しているのか？
• RQ5 一般化Kullback-Leibler発散は、異なるエントロピー族にわたって一貫して同じメトリックテンソルを導出できるか？

主な発見

• フィッシャー情報行列は、θ = φ における一般化相対エントロピーのヘッセ行列として回復され、すべての一般化エントロピー測度における自然なメトリックテンソルとしての役割を裏付けた。
• Tsallis、Rényi、Sharma-Mittal エントロピーにおいて、メトリックテンソルは標準フィッシャー情報行列に負の変形係数 −q を乗じたものに比例する。
• 同じ形式的枠組みから導かれる超拡張エントロピーについても、同様のフィッシャー計量が得られ、エントロピー階層全体における普遍性を確認した。
• パラメータ変化に伴う多重度 Ω の2階微分が、係数 −q を除いてフィッシャー計量に一致することから、フィッシャー情報量が多重度のパラメータ変化への感受性を定量化していることが示された。
• 正規化条件のおかげで、計量の対称性および系の拡張性に依存しない性質が保証され、すべてのエントロピー型にわたる一貫性が確保された。
• q-変形対数関数・指数関数形式を用いることで、フィッシャー情報量の導出が著しく簡素化され、統一的情報幾何的解析に強力なツールとなった。