[論文レビュー] Computational information geometry: theory and practice

Karim Anaya‐Izquierdo, Frank Critchley+2 more|arXiv (Cornell University)|Sep 10, 2012

Bayesian Modeling and Causal Inference参考文献 25被引用数 3

ひとこと要約

本稿は、計算情報幾何学を導入する。これは、固定次元や固定サポートを持たない統計的モデル、特にそれらを含む多様なモデルにおいて、数値計算を可能にする統一的枠組みである。単体を基本的な幾何的対象として用いることで、有限次元空間への埋め込みにより、情報幾何学、指数型分布族、混合幾何学を統合し、尤度、曲率、モデル選択指標の堅牢な数値計算を明示的な数値アルゴリズムによって可能にする。

ABSTRACT

This paper lays the foundations for a unified framework for numerically and computationally applying methods drawn from a range of currently distinct geometrical approaches to statistical modelling. In so doing, it extends information geometry from a manifold based approach to one where the simplex is the fundamental geometrical object, thereby allowing applications to models which do not have a fixed dimension or support. Finally, it starts to build a computational framework which will act as a proxy for the 'space of all distributions' that can be used, in particular, to investigate model selection and model uncertainty. A varied set of substantive running examples is used to illustrate theoretical and practical aspects of the discussion. Further developments are briefly indicated.

研究の動機と目的

• 統計における幾何的アプローチ（情報幾何学、指数型分布族、混合幾何学）を、一つの計算フレームワークに統合すること。
• 固定次元多様体に限らない情報幾何学を、単体を普遍的ドメインとして用いて、変動するサポートや次元を持つモデルへと拡張すること。
• すべての確率分布の空間の計算的代理を提供し、モデル選択やモデル不確実性を研究すること。
• 有限次元単体空間における明示的計算を通じて、幾何的統計手法の数値実装を可能にすること。
• 混合モデル、ロジスティック回帰、曲がった指数型分布族を含む多様な現実世界の統計的例を通じて、フレームワークの実用性を示すこと。

提案手法

• 統計的モデルを、カテゴリ数が $k+1$ の確率単体 $\Delta^k$ の部分集合として表現し、有限次元の数値的取り扱いを可能にする。
• 変動するサポートを持つ分布をモデル化するための拡張マルチヌム分布を用い、幾何的枠組みにおける次元の固定されていない性質を許容する。
• 単体上での微分幾何学を適用し、曲率、フィッシャー情報量、および高階モーメントの数値的計算を行う。
• 凸性と尤度構造を保つ線形射影 $\Pi_L$ を用い、尤度関数およびスコア関数の効率的計算を可能にする。
• 対数尤度展開と方向微分を用いて、混合モデルにおける非パラメトリック尤度推定（NPMLE）を計算する。
• カーネル $K(x,y) = \exp(xy)$ の完全正性を用いて、重要な行列の非特異性を証明し、モデル同定可能性のためのランク条件を保証する。

実験結果

リサーチクエスチョン

• RQ1 サポート集合が変動するような、固定次元や固定サポートを持たないモデルへ、情報幾何学をどのように拡張できるか。
• RQ2 指数型分布族、混合モデル、情報幾何学を含む、異なる幾何的アプローチを統一する単一の計算フレームワークを構築できるか。
• RQ3 単体は、すべての確率分布の空間を数値的に近似するための普遍的ドメインとしてどのように機能できるか。
• RQ4 幾何的原則から導かれる数値アルゴリズムは、尤度、曲率、複雑なモデルにおけるモデル適切性の計算にどのように応用できるか。
• RQ5 非指数型分布族モデルにおいて、高階漸近的手法および曲率に基づく次元削減を、どのように計算的に実装できるか。

主な発見

• 単体 $\Delta^k$ は、次元やサポートが変動するモデルにおいても、すべての確率分布の普遍的かつ有限次元の埋め込み空間を提供し、モデル間での数値計算を可能にする。
• このフレームワークは、情報幾何学、拡張された指数型分布族、リンゼイの混合幾何学を、共通の代数的・幾何的基盤を通じて成功裏に統合する。
• 拡張マルチヌムモデルを用いることで、対数尤度、スコア関数、および高階導関数（例：3階微分）の数値的計算が可能であり、明示的に導出されている。
• 混合モデルにおけるNPMLEが、$\epsilon$-近傍内での対数尤度変化に対して1次の境界を満たすことが示され、安定性解析が可能になる。
• 指数型分布族から導かれる行列 $\widetilde{B}$ のランクが $k$ であることが証明され、モデル同定可能性および主要な幾何的量の逆行列存在を保証する。
• カーネル $K(x,y) = \exp(xy)$ の完全正性の利用により、行列 $B^*$ が非特異であることが保証され、幾何的枠組みにおけるランク条件の証明に不可欠である。