[论文解读] Bayesian Inference on Matrix Manifolds for Linear Dimensionality Reduction

Andrew J. Holbrook, Alexander Vandenberg‐Rodes+1 more|arXiv (Cornell University)|Jun 14, 2016

Gaussian Processes and Bayesian Inference参考文献 29被引用 7

一句话总结

该论文提出了一种在矩阵流形上进行贝叶斯推断的框架——具体为施蒂费尔流形（Stiefel manifold）和格拉斯曼流形（Grassmann manifold）——用于线性降维，通过混合蒙特卡洛（hybrid Monte Carlo）和测地线蒙特卡洛（geodesic Monte Carlo）实现高效的后验抽样。该方法在采样效率和预测准确性方面表现优越，尤其在神经科学应用中，成功实现了从神经元放电序列数据中解码大鼠海马体序列响应。

ABSTRACT

We reframe linear dimensionality reduction as a problem of Bayesian inference on matrix manifolds. This natural paradigm extends the Bayesian framework to dimensionality reduction tasks in higher dimensions with simpler models at greater speeds. Here an orthogonal basis is treated as a single point on a manifold and is associated with a linear subspace on which observations vary maximally. Throughout this paper, we employ the Grassmann and Stiefel manifolds for various dimensionality reduction problems, explore the connection between the two manifolds, and use Hybrid Monte Carlo for posterior sampling on the Grassmannian for the first time. We delineate in which situations either manifold should be considered. Further, matrix manifold models are used to yield scientific insight in the context of cognitive neuroscience, and we conclude that our methods are suitable for basic inference as well as accurate prediction.

研究动机与目标

• 通过将因子载荷矩阵重新参数化为流形值参数，解决传统贝叶斯线性降维中的效率低下与可识别性问题。
• 通过将正交基表示为矩阵流形上的点，将贝叶斯推断扩展至高维数据分析，降低参数空间的复杂度。
• 通过在格拉斯曼流形和施蒂费尔流形上应用测地线蒙特卡洛，实现对复杂模型（包括指数族PCA和监督降维）的高效后验抽样。
• 提供一个统一的框架，支持无监督与监督降维，兼具科学可解释性与高预测准确性。
• 通过从神经元放电数据中解码大鼠海马体对气味序列的响应，展示该方法在认知神经科学中的实用性。

提出的方法

• 将线性降维重新表述为在施蒂费尔流形（正交矩阵）和格拉斯曼流形（子空间）上的贝叶斯推断，将因子载荷矩阵F视为流形上的一个点。
• 在格拉斯曼流形上使用混合蒙特卡洛（HMC）和测地线蒙特卡洛进行后验抽样，实现对高维、非平坦后验几何结构的高效探索。
• 在施蒂费尔和格拉斯曼流形参数上均采用格拉斯曼流形上的pF距离作为收敛性诊断工具。
• 使用联合似然模型：以泊松分布建模放电计数，结合潜在因子；对二值结果使用逻辑回归，同时将因子载荷矩阵约束于施蒂费尔流形。
• 实现一个层次化贝叶斯模型，其中给定F、μ和Ψ后，潜在因子z_j条件独立，且通过将F约束于施蒂费尔流形来解决旋转对称性问题。
• 使用测地线蒙特卡洛从格拉斯曼流形上F的后验分布中抽样，避免了在高维、对称参数空间中标准MCMC因高曲率导致的低接受率问题。

实验结果

研究问题

• RQ1 在高维线性降维中，矩阵流形上的贝叶斯推断如何提升采样效率与收敛性？
• RQ2 在建模因子载荷矩阵时，施蒂费尔流形相较于格拉斯曼流形在哪些场景下更为合适？
• RQ3 在格拉斯曼流形上应用测地线蒙特卡洛，能否实现对如指数族PCA等复杂高维模型的可靠后验抽样？
• RQ4 与最大似然法及标准贝叶斯实现相比，基于流形的贝叶斯方法在预测准确性和科学可解释性方面表现如何？
• RQ5 该框架能否支持监督降维，从而提升从神经数据中预测行为结果的能力？

主要发现

• 与标准MCMC相比，该方法在高维、非平坦流形上实现了显著更快、更高效的后验抽样，克服了因旋转对称性导致的低接受率问题。
• 测地线蒙特卡洛在格拉斯曼流形上的应用首次实现了该场景下的可靠后验抽样，且pF距离作为收敛性诊断工具表现有效。
• 贝叶斯联合模型在预测大鼠海马体数据中序列正确性方面优于所有基线方法，10折交叉验证误差率为0.076，低于均匀预测的基线值0.12。
• 第一个潜在因子的逻辑回归系数后验均值显著非零且严格为负，表明其与序列正确性存在强烈负相关，支持海马体活动编码序列学习的假设。
• 该方法支持可解释的科学推断：逻辑回归系数的后验分布可直接将神经活动模式与行为结果关联，提供生物学洞见。
• 该框架可扩展至广泛的线性降维方法，包括概率PCA、因子分析及其指数族变体，显著提升了可扩展性与准确性。