[論文レビュー] Extension of information geometry for modelling non-statistical systems

Ben Anthonis|arXiv (Cornell University)|Jan 5, 2015

Neural Networks and Applications参考文献 1被引用数 3

ひとこと要約

この論文は、確率分布間の距離の一般化としての発散関数を用いて統計モデル上に微分幾何的構造を構築するデータセットモデル形式を導入することで、情報幾何を拡張している。主な貢献は、発散関数から導かれるヘッセ構造とアフィン接続に基づく幾何的枠組みであり、非ユークリッド的空間に埋め込まれたvon Mises-Fisher部分多様体においても、期待される計量を正確に再現できることを示している。

ABSTRACT

In this dissertation, an abstract formalism extending information geometry is introduced. This framework encompasses a broad range of modelling problems, including possible applications in machine learning and in the information theoretical foundations of quantum theory. Its purely geometrical foundations make no use of probability theory and very little assumptions about the data or the models are made. Starting only from a divergence function, a Riemannian geometrical structure consisting of a metric tensor and an affine connection is constructed and its properties are investigated. Also the relation to information geometry and in particular the geometry of exponential families of probability distributions is elucidated. It turns out this geometrical framework offers a straightforward way to determine whether or not a parametrised family of distributions can be written in exponential form. Apart from the main theoretical chapter, the dissertation also contains a chapter of examples illustrating the application of the formalism and its geometric properties, a brief introduction to differential geometry and a historical overview of the development of information geometry.

研究の動機と目的

• 統計的でないデータセットをモデル化する一般化された幾何的枠組みを構築すること。
• 古典的情報幾何が指数型分布族でないモデルや非定常系を扱う能力に制限を受ける問題を解決すること。
• 量子物理学や機械学習を含む多様な分野におけるフィッティング手順を統一的に記述する数学的構造を提供すること。
• この拡張された形式において、自然なアフィン接続と曲率を体系的に定義できるかを検討すること。
• 統計物理学および量子情報理論における具体的な例を通じて、形式の適用可能性を示すこと。

提案手法

• 発散関数に基づくデータセットモデル形式を提案し、確率分布間の距離概念を一般化する。
• 発散関数を用いてヘッセ構造を定義し、これによりモデル多様体上にリーマン計量を誘導する。
• 発散関数から導かれる平坦なアフィン接続を導入し、モデル空間上で一貫した幾何的演算を可能にする。
• 幾何的整合性を検証するため、von Mises-Fisher分布の部分多様体に形式を適用する。
• 計量テンソルや接続などの微分幾何の道具を用いて、モデル多様体の内面的曲率と構造を分析する。
• 導出された幾何的構造が、ユークリッド的埋め込みから期待されるものと一致することを示している。これは、埋め込み空間がユークリッド的計量を持たない場合でも同様に成り立つ。

実験結果

リサーチクエスチョン

• RQ1 発散関数に基づくモデルを用いて、非統計的システムのための幾何的枠組みを構築できるか。
• RQ2 指数型分布族でないモデルにおいて、発散関数から一貫したアフィン接続とリーマン計量をどのように導出できるか。
• RQ3 非ユークリッド的埋め込み空間においても、von Mises-Fisher分布の部分多様体の幾何的構造が、ユークリッド的埋め込みから期待されるものと一致するか。
• RQ4 古典的情報幾何におけるα-接続に類似した、自然な1パラメータ族のアフィン接続がこの形式に存在するか。
• RQ5 この形式が、機械学習および量子情報理論における多様なモデリング手法を統一できるか。

主な発見

• データセットモデル形式により、発散関数からリーマン計量とアフィン接続を体系的に構築でき、非統計的モデルの幾何的解析が可能になった。
• von Mises-Fisher分布の部分多様体において、発散関数から導かれた計量と接続は、ユークリッド的埋め込みから期待されるものと正確に一致しており、これは埋め込み空間が非ユークリッド的であるにもかかわらず成り立つ。
• この形式は指数型分布族に属さないモデル、例えば非相互作用ボソン系や線形回帰モデルを自然に扱えるため、広範な適用可能性を示している。
• 発散関数から導かれるヘッセ構造は、モデル多様体の幾何を一貫的かつ数学的に堅牢に記述する手段を提供する。
• このアプローチは、特に正の作用素値測定（POVM）との整合性を示すため、機械学習および量子情報分野における多様なモデリング手法の統合に有望である。
• 結果から、この形式を用いることで、指数型分布族の部分多様体として埋め込まれる統計的モデルを幾何的基準によって同定できる可能性がある。