[論文レビュー] The nonparametric Fisher geometry and the chi-square process density prior

Andrew J. Holbrook, Shiwei Lan+2 more|arXiv (Cornell University)|Jul 11, 2017

Bayesian Methods and Mixture Models参考文献 34被引用数 3

ひとこと要約

本稿では、非パラメトリックFisher幾何学を用いた、新たなベイジアンノンパラメトリック密度推定モデルを提案する。このモデルは、平方根密度の無限次元球面に等価であることが示されている。平方根密度を制限付きガウス過程事前分布でモデル化し、カルフネン＝ローベルグ展開を活用することで、球面ハミルトニアンモンテカルロ（spherical HMC）を用いた高速な推論が可能となり、計算効率と事後分布の柔軟性を保証するχ²過程密度事前分布が得られる。さらに、有限次元における球面HMCと無限次元極限におけるリーマンHMCの間の関係を形式化する。

ABSTRACT

It is well known that the Fisher information induces a Riemannian geometry on parametric families of probability density functions. Following recent work, we consider the nonparametric generalization of the Fisher geometry. The resulting nonparametric Fisher geometry is shown to be equivalent to a familiar, albeit infinite-dimensional, geometric object---the sphere. By shifting focus away from density functions and toward \emph{square-root} density functions, one may calculate theoretical quantities of interest with ease. More importantly, the sphere of square-root densities is much more computationally tractable. This insight leads to a novel Bayesian nonparametric density estimation model. We construct the $χ^2$-process density prior by modeling the square-root density with a restricted Gaussian process prior. Inference over square-root densities is fast, and the model retains the flexibility characteristic of Bayesian nonparametric models. Finally, we formalize the relationship between spherical HMC in the infinite-dimensional limit and standard Riemannian HMC.

研究の動機と目的

• パラメトリックモデルを超えたFisher情報幾何学の拡張を、ノンパラメトリック密度族へと行う。
• ノンパラメトリックFisher幾何学と平方根密度の無限次元L²球面との等価性を確立する。
• 完全な事後分布推論能力を備えた計算的に効率的なベイジアンノンパラメトリック密度推定モデルを開発する。
• 有限次元における球面HMCと無限次元極限におけるリーマンHMCの間の関係を形式化する。
• 後退サンプリングと密度推定・点過程への応用を通じて、χ²過程事前分布の実用的有効性を示す。

提案手法

• 本稿では、デルタ測度を介して無限次元球面上に制限されたガウス過程事前分布を用いて、平方根密度をモデル化する。
• ガウス過程事前分布のカルフネン＝ローベルグ（K-L）展開を用いて、正規直交固有関数の観点から平方根密度を表現する。
• K-L展開を切断することで、係数の有限次元球面への推論に還元し、計算を効率化する。
• 有限次元K-L係数球面上での事後分布サンプリングに、球面ハミルトニアンモンテカルロ（HMC）を用いる。
• ガウス過程事前分布の二乗により、χ²過程密度事前分布が得られ、ベイジアン密度推定に用いる。
• 測地線力学を通じて、無限次元極限における球面HMCとリーマンHMCの等価性を形式化する。

実験結果

リサーチクエスチョン

• RQ1 非パラメトリックFisher幾何学は、平方根密度の無限次元球面とどのように関係しているか？
• RQ2 K-L展開を介して、平方根密度上のガウス過程事前分布を球面上に正確に制限でき、効率的な推論が可能になるか？
• RQ3 有限次元球面上の球面HMCと、無限次元極限におけるリーマンHMCの関係は何か？
• RQ4 既存手法と比較して、χ²過程密度事前分布はベイジアン密度推定においてどのように性能を発揮するか？
• RQ5 χ²過程事前分布は、点過程の強度推定に用いられるコックス過程のような階層モデルにおいて、効果的に利用可能か？

主な発見

• 確率密度の空間における非パラメトリックFisher幾何学は、数学的に平方根密度の無限次元L²球面と等価である。
• 平方根密度の使用により幾何学が球面に変換され、球面HMCを用いた計算的に取り扱いやすい推論が可能になる。
• ガウス過程事前分布のK-L展開により、球面上への正確な制限が可能となり、データサイズに比例する線形スケーリングの計算複雑度が達成される。
• 二乗されたガウス過程事前分布から得られるχ²過程密度事前分布は、高速な事後分布サンプリングを可能にし、最小限の仮定で妥当な密度実現を生成する。
• 有限次元K-L係数球面上の球面HMCは、無限次元極限におけるリーマンHMCに対応し、重要な理論的リンクを形式化する。
• 本モデルは、効率的な事後分布計算を実現し、強度関数がスケールパラメータとχ²過程密度の積としてモデル化されるコックス過程のような複雑なモデルへも応用可能である。