[论文解读] General Bayesian Inference over the Stiefel Manifold via the Givens Transform

Arya Pourzanjani, Richard Jiang+2 more|arXiv (Cornell University)|Oct 25, 2017

Bayesian Modeling and Causal Inference被引用 4

一句话总结

本文提出了一种通用的贝叶斯推断框架，用于正交矩阵参数，利用Givens表示将Stiefel流形映射到欧几里得空间，从而实现高效的密度变换和后验计算。通过引入辅助参数方法处理拓扑复杂性，并在因子模型和PPCA中通过实际数值例子展示了优越性能。

ABSTRACT

We introduce here an approach based on the Givens representation for posterior inference in statistical models with orthogonal matrix parameters, such as factor models and probabilistic principal component analysis (PPCA). We show how the Givens representation can be used to develop practical methods for transforming densities over the Stiefel manifold into densities over subsets of Euclidean space. We demonstrate how to deal with issues arising from the topology of the Stiefel manifold and how to inexpensively compute the change-of-measure terms. We introduce an auxiliary parameter approach that limits the impact of topological issues. We provide both analysis of our methods and numerical examples demonstrating the effectiveness of the approach. We also discuss how our Givens representation can be used to define general classes of distributions over the space of orthogonal matrices. We then give demonstrations on several examples showing how the Givens approach performs in practice in comparison with other methods.

研究动机与目标

• 开发适用于正交矩阵参数模型（如因子模型和概率PCA）的通用贝叶斯推断框架。
• 解决在Stiefel流形上进行后验计算时固有的拓扑挑战。
• 通过Givens表示实现在Stiefel流形到欧几里得空间的高效密度变换。
• 引入一种辅助参数方法，以最小化拓扑奇点的影响。
• 通过Givens参数化构建正交矩阵上的灵活分布族。

提出的方法

• 利用Givens表示将正交矩阵分解为Givens旋转的乘积，将其映射到欧几里得空间的一个子集。
• 通过变换的雅可比行列式，将概率密度从Stiefel流形变换到Givens角度的参数空间。
• 引入辅助参数化以规避Stiefel流形非平凡拓扑带来的问题。
• 利用从Givens分解中导出的解析表达式，高效计算测度变换项。
• 通过在Givens角度上指定先验，定义正交矩阵上的通用分布族。
• 使用标准贝叶斯计算技术，将该框架应用于因子模型和概率PCA中的后验推断。

实验结果

研究问题

• RQ1 如何利用Givens表示在Stiefel流形上实现高效的贝叶斯推断？
• RQ2 在Stiefel流形上变换密度时存在哪些计算与拓扑挑战，如何缓解？
• RQ3 Givens参数化中的测度变换项与替代方法相比，在复杂度和准确性上如何？
• RQ4 辅助参数方法能否有效降低拓扑奇点对后验采样影响？
• RQ5 通过Givens表示可以构建哪些类型的正交矩阵分布族？

主要发现

• Givens表示通过解析可处理的测度变换项，实现了从Stiefel流形到欧几里得空间的概率密度的精确且高效变换。
• 辅助参数方法成功缓解了在Stiefel流形上后验采样时出现的拓扑问题。
• 该方法可通过在Givens角度上指定先验，实现对正交矩阵上一般且灵活的分布族的构建。
• 数值例子表明，所提方法在因子模型和PPCA中的计算效率和收敛性方面优于其他方法。
• 该框架在高维正交矩阵模型中支持实际的贝叶斯推断，且计算开销极低。