[論文レビュー] Fisher information distance: a geometrical reading

Sueli I. R. Costa, Sandra A. Santos+1 more|arXiv (Cornell University)|Oct 8, 2012

Advanced Statistical Methods and Models参考文献 15被引用数 12

ひとこと要約

本稿では、双曲幾何を用いた正規分布におけるフィッシャー情報距離の幾何的解釈を提示し、1変量および多変量の場合の閉形式の式を導出する。リーマン幾何とカルバック・ライブラー発散への関連を活用することで、球状および対角行列型共分散をもつ多変量ガウス分布の正確な距離式を確立し、統計学および信号処理への応用におけるより深い幾何的基盤を提供する。

ABSTRACT

This paper is a strongly geometrical approach to the Fisher distance, which is a measure of dissimilarity between two probability distribution functions. The Fisher distance, as well as other divergence measures, are also used in many applications to establish a proper data average. The main purpose is to widen the range of possible interpretations and relations of the Fisher distance and its associated geometry for the prospective applications. It focuses on statistical models of the normal probability distribution functions and takes advantage of the connection with the classical hyperbolic geometry to derive closed forms for the Fisher distance in several cases. Connections with the well-known Kullback-Leibler divergence measure are also devised.

研究の動機と目的

• 1変量および多変量正規分布におけるフィッシャー情報距離の幾何的解釈を提供すること。
• 特定のパrameter空間における古典的双曲幾何を用いたフィッシャー距離の閉形式表現を導出すること。
• 統計モデルにおけるフィッシャー距離とカルバック・ライブラー発散の関係を調査すること。
• リーマン幾何および双曲幾何の既知の結果と結びつけることで、情報幾何の理解を拡張すること。
• 統計多様体の幾何的構造を明確化することで、データ解析、信号処理、次元削減への実用的応用を支援すること。

提案手法

• 1変量正規分布に対して、上半平面モデルを用いた双曲幾何を適用し、平均μおよび標準偏差σでパrameter化する。
• 古典的双曲幾何の結果を応用して、μおよびσの関数としてフィッシャー距離の閉形式表現を導出する。
• 共分散行列の多様体上のフィッシャー情報計量を考察することで、多変量正規分布への分析を拡張する。
• 球状共分散（定数固有値）および対角共分散行列に対して、積多様体構造を用いてフィッシャー距離を導出する。
• ポアンカレモデルおよび等長埋め込みを用いて、フィッシャー計量と既知の双曲空間との関係を明らかにする。
• 測地線方程式および曲率解析を用いて、特に固定平均2変量ガウス分布の統計的部分多様体の内在的幾何を特徴付ける。

実験結果

リサーチクエスチョン

• RQ1 1変量正規分布の文脈において、フィッシャー情報距離をどのように幾何的に解釈できるか。
• RQ2 正規分布の一般的なパrameter化において、フィッシャー距離の閉形式表現をどのように導出できるか。
• RQ3 1変量および多変量の場合に、フィッシャー距離とカルバック・ライブラー発散の関係は何か。
• RQ4 フィッシャー計量の下での多変量正規分布の統計多様体の幾何的性質（例：曲率、測地線）は何か。
• RQ5 対角行列または球状共分散行列をもつ特別なクラスの多変量ガウス分布に対して、フィッシャー距離を正確に計算できるか。

主な発見

• 1変量正規分布では、双曲幾何を用いて(μ, σ)パrameter空間におけるフィッシャー距離の閉形式表現が得られ、計量はポアンカレ上半平面モデルに等価である。
• 2つの1変量正規分布間のフィッシャー距離は、幾何的変換を通じてカルバック・ライブラー発散と関連づけられ、式(13)および(14)に明示的な公式が提示されている。
• 固定平均および球状共分散（回転対称）を持つ多変量正規分布の場合、フィッシャー距離は$ d_F^2 = \frac{1}{2} \text{Tr}((\boldsymbol{\theta}_1 - \boldsymbol{\theta}_2)^2) $で与えられ、曲率は$ -1/p(p+1) $である。
• 対角共分散行列の場合、フィッシャー距離は$ d_F^2 = \frac{1}{2} \text{Tr}((\boldsymbol{\theta}_1 - \boldsymbol{\theta}_2)^2) $で、曲率は$ -1/(2(2p-1)) $であり、計量は独立な成分に分解される。
• 一般の2変量ケース（任意の正定値共分散行列）では、フィッシャー距離の閉形式表現は得られておらず、数値的手法が必要となる。
• 回転角u=0の固定平均2変量ガウス分布では、フィッシャー距離は$ d_F = \frac{1}{\theta} \text{arccosh}(1 + \frac{1}{2} \text{Tr}((\boldsymbol{\theta}_1 - \boldsymbol{\theta}_2)^2)) $に簡略化され、部分多様体は完全測地的であるため、正確な距離計算が可能となる。