[論文レビュー] Nonparametric Information Geometry

Giovanni Pistone|arXiv (Cornell University)|Jun 3, 2013

Statistical Mechanics and Entropy参考文献 2被引用数 12

ひとこと要約

本稿では、正の確率密度を中心化された対数尤度によりパrameter化する、Orlicz空間にモデル化されたBanach多様体を用いた非パrametric情報幾何の枠組みを構築する。主な貢献は、パラメトリックモデルを超えて一般化された、正の密度の空間における厳密な微分幾何的構造の確立であり、常微分方程式や計量接続への応用を含む。

ABSTRACT

The differential-geometric structure of the set of positive densities on a given measure space has raised the interest of many mathematicians after the discovery by C.R. Rao of the geometric meaning of the Fisher information. Most of the research is focused on parametric statistical models. In series of papers by author and coworkers a particular version of the nonparametric case has been discussed. It consists of a minimalistic structure modeled according the theory of exponential families: given a reference density other densities are represented by the centered log likelihood which is an element of an Orlicz space. This mappings give a system of charts of a Banach manifold. It has been observed that, while the construction is natural, the practical applicability is limited by the technical difficulty to deal with such a class of Banach spaces. It has been suggested recently to replace the exponential function with other functions with similar behavior but polynomial growth at infinity in order to obtain more tractable Banach spaces, e.g. Hilbert spaces. We give first a review of our theory with special emphasis on the specific issues of the infinite dimensional setting. In a second part we discuss two specific topics, differential equations and the metric connection. The position of this line of research with respect to other approaches is briefly discussed.

研究の動機と目的

• 正の確率密度の空間に古典的Banach多様体構造を確立し、パラメトリックな指数型分布族の幾何を非パラメトリックな設定へ拡張すること。
• 無限次元統計モデルにおけるOrlicz空間の取り扱いに伴う技術的課題を、多項式成長を示す変形指数関数の導入により解決すること。
• 扱いやすいBanach空間モデルを通じて、非パラメトリック統計における実用的計算と幾何的解析を可能にすること。
• Orlicz空間および $ L^{ ext{ϕ},p} $ 空間を用いて、フィッシャー情報計量および指数接続を無限次元設定へ一般化すること。
• 情報幾何、微分方程式、多様体上のヒルベルトバンドル構造との関係を探索すること

提案手法

• 各正の密度 $ p $ を、$ u = \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) - \text{E}_{\text{ϕ}(p)}[\text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p)] $ で定義されるチャート $ s_p: q \to u $ により表現し、中心化された確率変数のOrlicz空間 $ B_p $ へ写像する。
• Young対 $ (\text{ϕ}, \text{ϕ}^{-1}) $ を用いて変形指数関数 $ \text{exp}_\text{ϕ} $ を定義し、指数型分布族における標準的指数関数の代わりに用いることで、多項式成長とヒルベルト空間との適合性を確保する。
• $ \text{ϕ} $-モーメント生成関数 functional $ L^{\text{ϕ},p}(v) = \text{E}_\text{μ}[\text{exp}_\text{ϕ}(v + \text{ln}_\text{ϕ}(p))] $ を定義し、$ L^{\text{ϕ},p}(\text{μ}) $ 上の定義域を設定することで、積分可能性と凸性を保証する。
• 正規化の保証のため、$ \text{ϕ} $-キュムラント生成関数 $ K_p(u) $ を、$ k \to \text{E}_\text{ϕ}(p)[\text{exp}_\text{ϕ}(u - k + \text{ln}_\text{ϕ}(p))] \to 1 $ の上界として定義し、密度 $ q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ の正規化を保証する。
• チャート $ s_p $ と $ s_{p'} $ 間の滑らかな移行写像 $ s_{p'} \text{∘} s_p^{-1} $ を用いて多様体構造を確立し、Banach空間の開部分集合間での滑らかさを保証する。
• 多様体上の計量接続およびヒルベルトバンドル構造を分析し、$ K_p $ がその定義域の内部で強凸的かつ下方連続的かつ微分可能であることを示す。

実験結果

リサーチクエスチョン

• RQ1 パラメトリック制限なしに、古典的指数型分布族幾何を無限次元の正の密度空間へどのように拡張できるか？
• RQ2 Orlicz空間は、正の密度の空間にBanach多様体構造を構築する上で果たす役割は何か？
• RQ3 多項式成長を示す変形指数関数が、例えばヒルベルト空間となるより取り扱いやすいBanach空間をもたらすために指数関数の代わりに用いられる可能性はあるか？
• RQ4 非パラメトリック情報幾何の文脈において、微分方程式はどのように自然に生じるか？
• RQ5 $ \text{ϕ} $-キュムラント生成関数およびその微分の幾何的意味は、計量接続の観点からどのように解釈できるか？

主な発見

• 正の密度の空間 $ \text{𝒫}_{>} $ は、中心化された対数尤度により定義されるチャートを用いて、Orlicz空間 $ B_p $ にモデル化されたBanach多様体構造を有する。
• $ \text{ϕ} $-キュムラント生成関数 $ K_p(u) $ はその定義域の内部で有限かつ微分可能であり、微分は $ D K_p(u) v = \text{E}_{\text{ϕ}(q)}[v] $ と表され、多様体の滑らかさが保証される。
• $ \text{ϕ}(u) = \text{e}^u - 1 $ の場合、$ \text{ϕ} $-中心化変数が $ L^2 $ に属するとき、その空間はヒルベルト空間と同型となり、実用的計算が可能になる。
• $ \text{ϕ} $-モーメント生成関数の適切な定義域は、$ L^{\text{ϕ},p}(\text{μ}) $ 内で半径1の開球を含み、局所的積分可能性が保証される。
• 写像 $ u \to q = \text{exp}_\text{ϕ}(u - K_p(u) + \text{ln}_\text{ϕ}(p)) $ は、$ K_p $ の定義域から $ \text{𝒫}_{>} $ への全単射であり、完全なパラメータ化が保証される。
• $ \text{ln}_\text{ϕ}(q) - \text{ln}_\text{ϕ}(p) \notin L^{\text{ϕ},p}(\text{μ}) $ の場合、対応する $ u $ は $ K_p $ の定義域の外に位置し、幾何的特異性を示す。