[論文レビュー] Information Geometry and Statistical Manifold

Mashbat Suzuki|arXiv (Cornell University)|Oct 9, 2014

Statistical Mechanics and Entropy参考文献 1被引用数 5

ひとこと要約

この論文は、統計多様体上のフィッシャー情報計量およびα-接続を導入することで、情報幾何学の基盤的な枠組みを確立し、漸近的統計的推論におけるその役割を示している。指数型分布族はそれぞれの接続に関してe-平坦であり、混合型分布族はm-平坦であることが証明されており、推定効率および漸近的平均二乗誤差展開の曲率に基づく解析が可能になる。

ABSTRACT

We review basic notions in the field of information geometry such as Fisher metric on statistical manifold, $α$-connection and corresponding curvature following Amari's work . We show application of information geometry to asymptotic statistical inference.

研究の動機と目的

• 統計的モデルをフィッシャー情報計量を備えたリーマン多様体として形式化し、幾何的解析を可能にする。
• α-接続を導入し、それがフィッシャー計量と整合することを示し、自然なリーマン接続（レヴィチビタ接続）が得られることを示す。
• 特にe-およびm-接続からの幾何的曲率不変量が、漸近的推定誤差を特徴づける仕組みを示す。
• 大標本におけるバイアス補正推定量およびその平均二乗誤差を分析する幾何的枠組みを提供する。
• 指数型および混合型分布族が特定の接続に関して平坦であることを示し、統計的推論と微分幾何学を統合する。

提案手法

• パラメトリックな確率分布族を、パrameter空間の滑らかで単射なパrameter化によって滑らかな統計多様体としてモデル化する。
• フィッシャー情報計量を、スコア関数の外積の期待値として定義する：$ g_{ij}( heta) = \mathbb{E}_\theta[\partial_i l_\theta \partial_j l_\theta] $。正則性および線形独立性の仮定のもとで、これはリーマン計量となる。
• 対数尤度の三階微分から得られるクリスティオーベル記号を用いてα-接続を導入し、$ \Gamma^{(\alpha)}_{ij,k} $ はα-接続係数の公式により定義される。
• 0-接続（レヴィチビタ接続）が計量に適合し、ねじれが存在しないことから、フィッシャー計量によって一意に定まるアフィン接続であることが示される。
• 指数型分布族が $ \nabla^{(1)} $ に関して平坦（e-平坦）であり、混合型分布族が $ \nabla^{(-1)} $ に関して平坦（m-平坦）であることが、対応する接続の平坦性を用いて特定される。
• バイアス補正推定量の平均二乗誤差の漸近的展開を、曲率項を含む形で導出する：$ \mathbb{E}[(\hat{u}^{*a}-u^a)(\hat{u}^{*b}-u^b)] = \frac{1}{N}g^{ab} + \frac{1}{2N^2}K^{ab} + O(N^{-3}) $、ここで $ K^{ab} $ はm-接続、e-曲率、m-曲率の項を組み合わせたものである。

実験結果

リサーチクエスチョン

• RQ1 統計的モデルはどのように自然にリーマン幾何的構造を備えることができ、微分幾何的解析が可能になるか？
• RQ2 フィッシャー情報計量は、分布間の統計的距離および情報量を測る役割を果たすか？
• RQ3 α-接続およびそれらに関連する曲率は、推定バイアスや分散といった高次統計的性質とどのように関係するか？
• RQ4 なぜ指数型分布族はその標準的接続に関してe-平坦であり、混合型分布族はm-平坦なのか？
• RQ5 漸近的平均二乗誤差展開における幾何的曲率項を、推定量設計の改善に利用できるか？

主な発見

• スコア関数 $ \partial_i l_\xi $ が線形独立であるという仮定のもとで、フィッシャー情報計量 $ g_{ij} $ は対称的かつ正定値であり、統計多様体上の有効なリーマン計量である。
• フィッシャー計量に関連する0-接続（レヴィチビタ接続）は計量に適合し、ねじれが存在しないため、多様体上に一意に定まるアフィン接続である。
• パrameter $ \mu $ と $ \sigma $ を持つ正規分布モデルのフィッシャー計量は $ g_{ij} = \begin{bmatrix} \frac{1}{\sigma^2} & 0 \\ 0 & \frac{2}{\sigma^2} \end{bmatrix} $ であり、定数負の曲率 -2 を示し、ポアンカレ計量に類似している。
• クラメール・ラオ不等式は幾何的に導出され、任意の不偏推定量の分散・共分散行列が逆フィッシャー情報行列によって下から抑えられることを示している。
• バイアス補正された一次効率推定量の漸近的平均二乗誤差は、$ \frac{1}{N}g^{ab} + \frac{1}{2N^2}K^{ab} + O(N^{-3}) $ として展開され、ここで $ K^{ab} $ はモデルおよび推定部分多様体 $ A(u) $ のm-接続、e-曲率、m-曲率の寄与を含む。
• モデル $ M $ が指数型分布族である場合、e-曲率 $ H^{(e)}_M $ は消え、曲率項 $ K^{ab} $ は推定部分多様体 $ A(u) $ のm-接続およびm-曲率にのみ依存するよう簡略化される。