[论文解读] Bayesian nonparametric inference on the Stiefel manifold

Lizhen Lin, Vinayak Rao+1 more|arXiv (Cornell University)|Nov 4, 2013

Bayesian Methods and Mixture Models参考文献 16被引用 6

一句话总结

该论文提出了一种基于矩阵冯-米塞斯-兰金分布核混合的贝叶斯非参数模型，用于在施蒂费尔流形上建模概率分布。在温和的正则性条件下，该模型建立了后验一致性，实现了对正交矩阵数据的灵活、生成式推断，且避免了参数模型误设的问题。

ABSTRACT

The Stiefel manifold $V_{p,d}$ is the space of all $d imes p$ orthonormal matrices, with the $d-1$ hypersphere and the space of all orthogonal matrices constituting special cases. In modeling data lying on the Stiefel manifold, parametric distributions such as the matrix Langevin distribution are often used; however, model misspecification is a concern and it is desirable to have nonparametric alternatives. Current nonparametric methods are Fréchet mean based. We take a fully generative nonparametric approach, which relies on mixing parametric kernels such as the matrix Langevin. The proposed kernel mixtures can approximate a large class of distributions on the Stiefel manifold, and we develop theory showing posterior consistency. While there exists work developing general posterior consistency results, extending these results to this particular manifold requires substantial new theory. Posterior inference is illustrated on a real-world dataset of near-Earth objects.

研究动机与目标

• 解决如矩阵冯-米塞斯分布等参数模型在建模复杂正交矩阵数据时易发生误设的局限性。
• 为施蒂费尔流形上现有的基于弗雷歇均值的非参数方法，开发一种完全生成式的非参数替代方案。
• 确保所提模型具有大支撑集和后验一致性，以实现对数据复杂性的自适应推断。
• 通过适配Rao等人（2014）的MCMC采样器至新模型，实现高效的后验计算。
• 为施蒂费尔流形上的后验一致性提供理论依据，由于流形的几何结构，这是对现有结果的非平凡推广。

提出的方法

• 通过在浓度和方向矩阵参数空间上的基测度上混合矩阵冯-米塞斯核，构建非参数先验。
• 以矩阵冯-米塞斯分布作为核，其密度与 $\text{etr}(F^T X)/Z(F)$ 成正比，其中 $F$ 为 $d \times p$ 参数矩阵。
• 利用奇异值分解 $F = G\boldsymbol{\kappa}H^T$ 参数化核，将方向（$G, H$）与浓度（$\boldsymbol{\kappa}$）分量分离。
• 在浓度参数 $\boldsymbol{\kappa} \in \mathbb{R}^p_+$ 和方向 $G \in V_{p,d}$ 上定义先验，以实现对多峰和非对称分布的灵活建模。
• 通过验证Bhattacharya和Dunson（2012）提出的熵和连续性条件（a）–（d），包括子水平集的紧致性与覆盖数有界性，建立后验一致性。
• 适配Rao等人（2014）的MCMC采样算法，以实现对混合模型的后验推断，支持后验模拟与不确定性量化。

实验结果

研究问题

• RQ1 能否构建一种完全生成式的非参数模型，用于施蒂费尔流形，以避免参数模型误设？
• RQ2 所提出的核混合模型是否具有足够大的支撑集，以近似施蒂费尔流形上广泛的分布类？
• RQ3 在温和正则性条件下，该模型的后验分布是否对真实底层分布具有一致性？
• RQ4 该模型能否在保持理论保证的前提下，通过高效的MCMC采样实现实际应用？
• RQ5 该模型在真实世界的正交矩阵数据（如近地天体的轨道方向数据）上表现如何？

主要发现

• 所提出的核混合模型在施蒂费尔流形上具有大支撑集，能够近似正交矩阵上广泛类别的概率分布。
• 在温和正则性条件下建立了后验一致性，证明随着样本量增加，后验会集中在真实分布附近。
• 后验一致性证明需要新的理论发展，因为现有结果无法直接推广至施蒂费尔流形，这是由于其黎曼几何结构所致。
• 后验一致性所需的熵条件已得到验证：条件（c）因 $\boldsymbol{\kappa}$ 的子水平集紧致性而成立，取 $b_2 = p$；条件（d）因流形上的覆盖数有界性而成立，取 $a_3 = dp$。
• 该模型在近地天体轨道的真实数据集上得到实证验证，证明其能够捕捉超越参数模型的复杂方向模式。
• 核密度关于 $\boldsymbol{\kappa}$ 的梯度有界，这支持了后验一致性证明中的连续性条件（b），确保了参数空间中的稳定性。