[论文解读] Bayesian Inference over the Stiefel Manifold via the Givens Representation

Arya Pourzanjani, Richard Jiang+3 more|arXiv (Cornell University)|Oct 25, 2017

Bayesian Methods and Mixture Models参考文献 32被引用 7

一句话总结

本文提出了一种基于Givens表示的贝叶斯推断框架，通过将Stiefel流形映射到欧氏空间，实现对正交矩阵参数的高效后验抽样，利用标准概率编程工具。该方法提供了可解析处理的测度变换校正，并通过参数扩展与几何分析解决了拓扑挑战，在PPCA及相关模型中表现出稳健性能。

ABSTRACT

We introduce an approach based on the Givens representation for posterior inference in statistical models with orthogonal matrix parameters, such as factor models and probabilistic principal component analysis (PPCA). We show how the Givens representation can be used to develop practical methods for transforming densities over the Stiefel manifold into densities over subsets of Euclidean space. We show how to deal with issues arising from the topology of the Stiefel manifold and how to inexpensively compute the change-of-measure terms. We introduce an auxiliary parameter approach that limits the impact of topological issues. We provide both analysis of our methods and numerical examples demonstrating the effectiveness of the approach. We also discuss how our Givens representation can be used to define general classes of distributions over the space of orthogonal matrices. We then give demonstrations on several examples showing how the Givens approach performs in practice in comparison with other methods.

研究动机与目标

• 在PPCA和因子模型等概率模型中，实现对正交矩阵参数的实用贝叶斯推断。
• 解决将Stiefel流形上的后验密度转换到欧氏空间时保持测度与拓扑结构的挑战。
• 为Givens参数化开发一种高效且可解析处理的测度变换校正方法。
• 解决Givens表示中的拓扑问题，包括多重模态性以及在极点附近出现的病态密度行为。
• 促进与现有概率编程框架（如Stan、Edward和PyMC3）的集成，而无需重新实现。

提出的方法

• 利用Givens表示通过旋转角参数化正交矩阵，将Stiefel流形转换为欧氏空间的子集。
• 推导出雅可比行列式（测度变换项）的解析表达式，形式为旋转角余弦项的乘积。
• 应用参数扩展方案，以缓解由变换在后验密度中引入的多重模态性。
• 识别并分析Givens映射中的拓扑奇点，表明其在实践中影响可忽略。
• 采用雅可比行列式的分块矩阵分解，利用递归三角恒等式高效计算行列式。
• 基于Givens参数化，定义正交矩阵上的新分布族，以实现灵活的先验设定。

实验结果

研究问题

• RQ1 Givens表示能否用于将Stiefel流形上的后验密度转换为欧氏空间中可处理的密度，以支持标准MCMC抽样？
• RQ2 在Givens参数化下，有效贝叶斯推断所需的测度变换调整项的解析形式是什么？
• RQ3 Stiefel流形的拓扑特性在使用Givens表示时如何影响推断？是否可被缓解？
• RQ4 在PPCA及相关模型中，基于Givens的方法在抽样效率与精度方面相较于现有方法有多大优势？
• RQ5 Givens表示能否用于定义新的、灵活的正交矩阵上分布族，以支持统计建模？

主要发现

• 测度变换调整项被解析推导为余弦项的乘积，实现高效计算而无需数值近似。
• 该方法成功处理了Stiefel流形的拓扑挑战，数值结果表明极点附近的奇点影响极小。
• 参数扩展方案有效缓解了Givens变换在后验密度中引入的多重模态性问题。
• 该方法使Stan和PyMC3中的高级采样算法（如NUTS）可直接应用于含正交矩阵参数的模型。
• 数值示例表明，基于Givens的方法在后验推断精度上可与专用方法相媲美，且在可用性与集成潜力方面表现更优。
• Givens表示支持定义新的、灵活的正交矩阵上分布族，显著增强了先验建模能力。