[論文レビュー] Bayesian Inference over the Stiefel Manifold via the Givens Representation

Arya Pourzanjani, Richard Jiang+3 more|arXiv (Cornell University)|Oct 25, 2017

Bayesian Methods and Mixture Models参考文献 32被引用数 7

ひとこと要約

本稿は、Stiefel多様体をユークリッド空間に写像するためのGivens表現を用いて、直交行列パラメータに対するベイズ推論フレームワークを導入する。これにより、標準的な確率的プログラミングツールを用いた効率的な事後分布サンプリングが可能になる。解析的に取り扱える測度変更補正を提供し、パラメータ拡張と幾何的解析を通じて位相的課題を解決し、PPCAおよび関連モデルにおいても頑健な性能を示す。

ABSTRACT

We introduce an approach based on the Givens representation for posterior inference in statistical models with orthogonal matrix parameters, such as factor models and probabilistic principal component analysis (PPCA). We show how the Givens representation can be used to develop practical methods for transforming densities over the Stiefel manifold into densities over subsets of Euclidean space. We show how to deal with issues arising from the topology of the Stiefel manifold and how to inexpensively compute the change-of-measure terms. We introduce an auxiliary parameter approach that limits the impact of topological issues. We provide both analysis of our methods and numerical examples demonstrating the effectiveness of the approach. We also discuss how our Givens representation can be used to define general classes of distributions over the space of orthogonal matrices. We then give demonstrations on several examples showing how the Givens approach performs in practice in comparison with other methods.

研究の動機と目的

• PPCA や要因モデルなどの確率的モデルにおける直交行列パラメータに対する実用的なベイズ推論を可能にすること。
• Stiefel多様体上の事後密度をユークリッド空間に変換する際の測度と位相を保持する課題に対処すること。
• Givensパrameterizationにおける有効なベイズ推論を実現するための効率的かつ解析的に取り扱える測度変更補正の開発。
• Givens表現に起因する位相的問題、特に多峰性および極付近での病理的密度挙動の解消。
• Stan、Edward、PyMC3などの既存の確率的プログラミングフレームワークへの再実装なしに統合を可能にする。

提案手法

• 直交行列を回転角によるGivens表現でパラメータ化し、Stiefel多様体をユークリッド空間の部分集合に変換する。
• 回転角のコサイン関数の積として、ヤコビアン行列式（測度変更項）の解析的表現を導出する。
• 変換によって生じる事後密度の多峰性を軽減するためのパラメータ拡張スキームを適用する。
• Givens写像に内在する位相的特異点を同定・分析し、実際には影響が小さいことを示す。
• ヤコビアンのブロック行列分解を用いて、再帰的三角恒等式を活用して行列式を効率的に計算する。
• Givensパラメータ化を用いて直交行列上の新しい確率分布族を定義し、柔軟な事前分布の指定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 Givens表現を用いて、Stiefel多様体上の事後密度を、標準的なMCMCサンプリングに適したユークリッド空間上の密度に変換できるか？
• RQ2 Givensパrameterization下での有効なベイズ推論を実現するための測度変更補正項の解析的形は何か？
• RQ3 Stiefel多様体の位相的特徴は、Givens表現を用いた推論にどのように影響を及ぼし、それを軽減できるか？
• RQ4 PPCAおよび関連モデルにおいて、Givensベースのアプローチは、従来の手法に比べてどの程度サンプリング効率と精度で優れているか？
• RQ5 Givens表現を用いて、統計的モデリングのための柔軟な直交行列上での新しい確率分布族を定義できるか？

主な発見

• 測度変更補正項が解析的にコサイン関数の積として導出され、数値近似を用いずに効率的に計算可能である。
• 位相的課題を効果的に処理し、数値結果から極付近の特異点の影響が最小限であることが示された。
• パラメータ拡張スキームにより、Givens変換によって生じる事後密度の多峰性問題が効果的に解消された。
• NUTSなどの高度なサンプリングアルゴリズムを、Stan や PyMC3 で直交行列パラメータを含むモデルに対して直接利用可能にした。
• 数値例から、Givensベースの手法が、特別な方法と同等の精度の事後分布推論を達成しており、使いやすさと統合可能性が向上していることが示された。
• Givens表現は、柔軟な直交行列上での確率分布族の定義を可能にし、事前分布モデリングの能力を強化した。