[論文レビュー] Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction

Andrew J. Holbrook, Alexander Vandenberg‐Rodes+1 more|arXiv (Cornell University)|Jun 14, 2016

Gaussian Processes and Bayesian Inference参考文献 29被引用数 7

ひとこと要約

本稿は、線形次元削減のためのベイズ推論フレームワークを、特にスタイフェル多様体とグラスマン多様体上で提案する。ハイブリッドモンテカルロと測地線モンテカルロを用いて効率的な事後分布サンプリングを可能にする。特に神経科学的応用において、スパイクトレインデータからのラット海馬の系列応答を復号する応用で、サンプリング効率と予測精度に優れている。

ABSTRACT

We reframe linear dimensionality reduction as a problem of Bayesian inference on matrix manifolds. This natural paradigm extends the Bayesian framework to dimensionality reduction tasks in higher dimensions with simpler models at greater speeds. Here an orthogonal basis is treated as a single point on a manifold and is associated with a linear subspace on which observations vary maximally. Throughout this paper, we employ the Grassmann and Stiefel manifolds for various dimensionality reduction problems, explore the connection between the two manifolds, and use Hybrid Monte Carlo for posterior sampling on the Grassmannian for the first time. We delineate in which situations either manifold should be considered. Further, matrix manifold models are used to yield scientific insight in the context of cognitive neuroscience, and we conclude that our methods are suitable for basic inference as well as accurate prediction.

研究の動機と目的

• 従来のベイズ線形次元削減における非効率性と同定可能性の問題を解消するため、要因負荷行列を多様体値パラメータとして再パrameter化すること。
• 直交基底を行列多様体上の点としてモデル化することで、高次元データ解析へのベイズ推論を拡張し、パラメータ空間の複雑さを低減すること。
• 測地線モンテカルロを用いて、グラスマン多様体およびスタイフェル多様体上で、指数型族PCAや監視付き次元削減を含む複雑なモデルの効率的事後分布サンプリングを可能にすること。
• 科学的解釈可能性と予測精度を両立する包括的なフレームワークを提供し、教師なしおよび教師あり次元削減をサポートすること。
• 神経科学的応用を通じて、神経スパイクデータからのラット海馬の応答を、臭覚系列に応じて復号する手法の有効性を示すこと。

提案手法

• 要因負荷行列 F を多様体上の単一の点として扱うことで、スタイフェル多様体（直交行列）およびグラスマン多様体（部分空間）上で線形次元削減をベイズ推論として再定式化する。
• グラスマン多様体上での事後分布サンプリングにハイブリッドモンテカルロ（HMC）および測地線モンテカルロを用い、高次元かつ曲がった事後幾何構造の効率的探索を可能にする。
• スタイフェル多様体およびグラスマン多様体の両方のパラメータに対して、収束診断としてグラスマン多様体上の pF 距離を採用する。
• 観測データを、ポisson分布に従うスパイク数と潜在因子、および二値出力のロジスティック回帰の混合尤度としてモデル化し、要因負荷行列をスタイフェル多様体に制約する。
• 潜在因子 z_j が F、μ、Ψ に対して条件付き独立となる階層ベイズモデルを実装し、F をスタイフェル多様体に制約することで回転対称性の問題を解消する。
• 測地線モンテカルロを用いて、グラスマン多様体上での F の事後分布からのサンプリングを実行し、高次元かつ対称なパラメータ空間における標準MCMCの高曲率と低受容率の問題を回避する。

実験結果

リサーチクエスチョン

• RQ1 行列多様体上のベイズ推論は、高次元線形次元削減におけるサンプリング効率と収束性をどのように向上させるか？
• RQ2 要因負荷行列のモデリングにおいて、スタイフェル多様体はグラスマン多様体よりもどのような状況でより適切か？
• RQ3 グラスマン多様体上での測地線モンテカルロは、指数型族PCAのような複雑で高次元のモデルに対し、信頼性のある事後分布サンプリングを可能にするか？
• RQ4 多様体ベースのベイズアプローチは、最尤推定および標準的なベイズ実装と比較して、予測精度と科学的解釈可能性の面でどのように異なるか？
• RQ5 このフレームワークは、神経データからの行動的アウトカムの予測を向上させることを可能にする教師あり次元削減をサポートできるか？

主な発見

• 本手法は、回転対称性に起因する低受容率の問題を克服し、標準MCMCに比べて高次元かつ曲がった多様体上で著しく高速かつ効率的な事後分布サンプリングを達成した。
• グラスマン多様体上での測地線モンテカルロにより、初めてこの文脈で信頼性のある事後分布サンプリングが可能になった。pF 距離は、スタイフェルおよびグラスマン多様体の両方のパラメータに対して効果的な収束診断として機能した。
• ベイズ統合モデルは、ラット海馬データにおける系列正答率の予測において、すべての競合手法を上回り、10分割交差検証誤差率が 0.076 にまで低下した。これは一様予測のベースライン 0.12 よりも顕著に低い。
• 最初の潜在因子のロジスティック回帰係数について、事後平均が有意に非ゼロで厳密に負であり、系列正答率との強い負の関連を示唆し、海馬活動が系列学習を符号化しているという仮説を支持した。
• 本手法は解釈可能な科学的推論を可能にした。ロジスティック係数の事後分布は、神経活動パターンと行動的アウトカムを直接的に関連づけ、生物学的洞察を提供した。
• 本フレームワークは、確率的PCA、要因分析、およびそれらの指数型族バージョンを含む、広範な線形次元削減手法へと拡張可能であり、スケーラビリティと精度が向上した。