[論文レビュー] General Bayesian Inference over the Stiefel Manifold via the Givens Transform

Arya Pourzanjani, Richard Jiang+2 more|arXiv (Cornell University)|Oct 25, 2017

Bayesian Modeling and Causal Inference被引用数 4

ひとこと要約

本稿では、Stiefel多様体からユークリッド空間への写像を可能にするGivens表現を用いて、直交行列パラメータに対する一般化されたベイズ推論フレームワークを提案する。これにより、密度変換と事後分布の計算が効率的に行える。トポロジー的な複雑さに対処するための補助パラメータ手法を導入し、要因モデルおよびPPCAにおける実用的な数値例を通じて優れた性能を示している。

ABSTRACT

We introduce here an approach based on the Givens representation for posterior inference in statistical models with orthogonal matrix parameters, such as factor models and probabilistic principal component analysis (PPCA). We show how the Givens representation can be used to develop practical methods for transforming densities over the Stiefel manifold into densities over subsets of Euclidean space. We demonstrate how to deal with issues arising from the topology of the Stiefel manifold and how to inexpensively compute the change-of-measure terms. We introduce an auxiliary parameter approach that limits the impact of topological issues. We provide both analysis of our methods and numerical examples demonstrating the effectiveness of the approach. We also discuss how our Givens representation can be used to define general classes of distributions over the space of orthogonal matrices. We then give demonstrations on several examples showing how the Givens approach performs in practice in comparison with other methods.

研究の動機と目的

• 因子モデルや確率的PCAのような直交行列パラメータを有するモデルに対する一般化されたベイズ推論フレームワークの構築を目的とする。
• 事後分布計算において生じるStiefel多様体固有のトポロジー的課題に対処することを目的とする。
• Givens表現を用いてStiefel多様体からユークリッド空間への効率的密度変換を可能とすることを目的とする。
• トポロジカル特異点の影響を最小限に抑える補助パラメータ手法の導入を目的とする。
• Givens角度への事前分布の指定により、直交行列上での一般化された分布族を構築することを目的とする。

提案手法

• 直交行列をGivens回転の積に分解するGivens表現を用い、それらをユークリッド空間の部分集合へ写像する。
• 変換のヤコビアン行列式を用いて、Stiefel多様体上の確率密度をGivens角度のパrameter空間に変換する。
• Stiefel多様体の非自明なトポロジーに起因する問題を回避するため、補助パラメータ化を組み込む。
• Givens分解から導かれる解析的表現を用いて、測度変換項を効率的に計算する。
• Givens角度への事前分布を指定することにより、直交行列上での一般分布族を定義する。
• 標準的なベイズ計算技術を用いて、因子モデルおよび確率的PCAにおける事後分布推論にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 Givens表現をどのように用いることで、Stiefel多様体上での効率的ベイズ推論を実現できるか？
• RQ2 Stiefel多様体上での密度変換における計算的およびトポロジカル課題は何か。それらはどのように軽減できるか？
• RQ3 Givensパラメータ化における測度変換項は、他の手法と比較して複雑さと正確さの点でどう異なるか？
• RQ4 補助パラメータ手法は、事後分布サンプリングにおけるトポロジカル特異点の影響を効果的に低減できるか？
• RQ5 Givens表現を用いて、どのような直交行列上での分布族を構築できるか？

主な発見

• Givens表現により、解析的に取り扱える測度変換項を介して、Stiefel多様体からユークリッド空間への確率密度の正確かつ効率的な変換が可能になる。
• 補助パラメータ手法により、Stiefel多様体上での事後分布サンプリングに起因するトポロジカル問題が効果的に緩和された。
• Givens角度への事前分布の指定により、一般で柔軟な直交行列上での分布族の構築が可能になる。
• 数値例により、本手法が因子モデルおよびPPCAにおいて、計算効率と収束性の点で他の手法を上回ることを示している。
• 本フレームワークは、最小限の計算オーバーヘッドで高次元の直交行列モデルにおける実用的ベイズ推論を可能にする。