[论文解读] Efficiently resolving rotational ambiguity in Bayesian matrix sampling with matching

Evan Poworoznek, Niccolò Anceschi+2 more|arXiv (Cornell University)|Jul 29, 2021

Bayesian Methods and Mixture Models参考文献 23被引用 4

一句话总结

本文提出 MatchAlign，一种计算高效的后处理算法，通过 Varimax 旋转对后验样本进行正交化，再利用贪心匹配算法解决标签和符号切换问题，从而解决贝叶斯矩阵采样中的旋转模糊性。该方法在不改变先验分布的前提下，实现了对不可识别因子载荷的可靠推断，相比现有方法性能提升最高达 10 倍，同时保持了高对齐精度。

ABSTRACT

A wide class of Bayesian models involve unidentifiable random matrices that display rotational ambiguity, with the Gaussian factor model being a typical example. A rich variety of Markov chain Monte Carlo (MCMC) algorithms have been proposed for sampling the parameters of these models. However, without identifiability constraints, reliable posterior summaries of the parameters cannot be obtained directly from the MCMC output. As an alternative, we propose a computationally efficient post-processing algorithm that allows inference on non-identifiable parameters. We first orthogonalize the posterior samples using Varimax and then tackle label and sign switching with a greedy matching algorithm. We compare the performance and computational complexity with other methods using a simulation study and chemical exposures data. The algorithm implementation is available in the infinitefactor R package on CRAN.

研究动机与目标

• 解决贝叶斯矩阵采样中的旋转模糊性问题，特别是在非识别因子模型（如高斯因子模型）中的应用。
• 实现对由于旋转不变性而本质上不可识别的因子载荷矩阵的可靠后验推断。
• 开发一种后处理方法，无需对因子载荷矩阵施加先验约束或结构假设。
• 相比穷举排列搜索方法，显著降低计算成本，同时保持高对齐精度。
• 提供一种实用、高效且与模型无关的解决方案，适用于广泛的贝叶斯矩阵分解问题。

提出的方法

• 对因子载荷矩阵的后验样本应用 Varimax 旋转，以减少旋转模糊性。
• 使用贪心匹配算法通过迭代比较列对，解决 MCMC 样本之间的标签和符号切换问题。
• 将匹配问题建模为二分图匹配任务，最小化旋转后因子载荷列之间的距离度量。
• 通过迭代重分配标签和符号，实现 MCMC 抽样之间样本的一致对齐，同时保持后验结构。
• 将该算法作为独立于 MCMC 先验或似然结构的后处理步骤集成。
• 在 CRAN 上的 infinitefactor R 包中实现该方法，以确保广泛可及性与实际应用。

实验结果

研究问题

• RQ1 如何在不施加因子载荷矩阵先验约束的前提下，高效解决贝叶斯矩阵采样中的旋转模糊性？
• RQ2 与基于穷举排列的对齐方法相比，贪心匹配方法的计算效率如何？
• RQ3 所提出的方法在多大程度上改善了因子载荷的后验推断，同时保持可识别参数（如 ΛΛᵀ）的稳定性？
• RQ4 在高维设置下，当因子载荷稀疏或相互独立时，该算法表现如何？
• RQ5 该方法能否在含缺失值和复杂相关结构的真实世界数据上有效应用？

主要发现

• 与 Papastamoulis 和 Ntzoufras (2020) 提出的基于排列的方法相比，MatchAlign 将计算时间减少了至少一个数量级，同时保持了相当的对齐精度。
• 在 p=50 的模拟中，当 k=10 且因子载荷稀疏时，MatchAlign 的有效样本大小（ESS）效率达到 0.797，在某些设置下优于 RSP-Full（0.826）和 RSP-Partial（0.783）。
• 当 p=100 且 k=10 时，MatchAlign 在稀疏 Λ 条件下的 ESS 效率为 0.819，显著优于 RSP-Full（0.782）和 RSP-Partial（0.789），对齐质量更优。
• 在 NHANES 2015–2016 数据集（p=107，n=4468）上，MatchAlign 在单线程环境下约 16 秒内完成对后验样本的对齐，展现出良好的可扩展性。
• RSP-Full 方法在迹图中产生了有偏估计，其度量值约为 MatchAlign 的 20 倍，表明其对齐效果差。
• 该算法保持了可识别参数（如 ΛΛᵀ）的后验分布，确保了对协方差结构的有效推断。