[论文解读] Efficient Bayesian reduced rank regression using Langevin Monte Carlo approach

Tien Mai|arXiv (Cornell University)|Feb 15, 2021

Sparse and Compressive Sensing Techniques参考文献 32被引用 4

一句话总结

本文提出了一种新颖的朗之万蒙特卡洛（LMC）方法用于贝叶斯降秩回归（BRRR），采用谱缩放的学生t先验以在不预先指定秩的情况下诱导低秩结构。该方法避免了昂贵的矩阵求逆和SVD计算，在高维设置下采样速度优于吉布斯采样，同时预测性能与经过交叉验证的频率学方法相当。

ABSTRACT

The problem of Bayesian reduced rank regression is considered in this paper. We propose, for the first time, to use Langevin Monte Carlo method in this problem. A spectral scaled Student prior distrbution is used to exploit the underlying low-rank structure of the coefficient matrix. We show that our algorithms are significantly faster than the Gibbs sampler in high-dimensional setting. Simulation results show that our proposed algorithms for Bayesian reduced rank regression are comparable to the state-of-the-art method where the rank is chosen by cross validation.

研究动机与目标

• 为解决高维贝叶斯降秩回归（BRRR）中吉布斯采样存在的计算低效问题，该问题需要重复进行矩阵求逆和SVD计算。
• 开发一种可扩展的BRRR贝叶斯推断方法，避免低秩矩阵分解且无需预先指定秩。
• 利用谱缩放的学生t先验，自然地促进系数矩阵中的低秩结构。
• 证明朗之万蒙特卡洛（LMC）和马尔可夫链蒙特卡洛修正的LMC（MALA）在速度上优于吉布斯采样，同时保持预测准确性。

提出的方法

• 在系数矩阵B上提出一种谱缩放的学生t先验，定义为 π(B) ∝ det(λ²Iₚ + BBᵀ)⁻⁽ᵖ⁺ᵐ⁺²⁾ᐟ²，该先验在不预先指定秩的情况下促进低秩结构。
• 为BRRR后验采样开发了一种未校正的朗之万蒙特卡洛（LMC）算法，利用后验对数梯度而无需矩阵求逆。
• 在MALA中引入马尔可夫链蒙特卡洛校正以提高采样精度，同时保持细致平衡。
• 选择步长h以实现约50%的接受率，遵循Roberts与Rosenthal（1998）的方法，以在探索性与稳定性之间取得平衡。
• 通过依赖基于梯度的更新，避免显式矩阵求逆和SVD计算，从而实现大规模数据集的可扩展性。
• 在似然函数中采用固定σ²，通过LMC和MALA对B进行后验估计，而σ²被视为已知。

实验结果

研究问题

• RQ1 朗之万蒙特卡洛采样能否有效应用于具有非分解先验的贝叶斯降秩回归？
• RQ2 在高维BRRR设置下，所提出的LMC/MALA方法是否比吉布斯采样实现更快的收敛速度？
• RQ3 谱缩放的学生t先验与传统低秩分解先验相比，在不预先指定秩的情况下，促进低秩结构的效果如何？
• RQ4 基于LMC的推断能否达到与经过交叉验证的频率学RRR方法相当的预测性能？
• RQ5 步长选择对LMC和MALA在BRRR中收敛性和准确性的影响如何？

主要发现

• 在高维设置下，所提出的LMC和MALA算法显著快于吉布斯采样，运行时间随p增加的扩展性更优。
• MALA在预测准确性和稳定性方面优于LMC，在真实数据上实现了更低的均方预测误差。
• 在乳腺癌数据集上，MALA的均方预测误差为0.049（±0.008），优于LMC（0.052 ± 0.009），并接近于经过交叉验证的RRR方法（0.030 ± 0.008）。
• MALA估计的秩为1.03（±0.17），接近真实潜在秩，表明秩估计有效。
• LMC和MALA方法在预测性能上与经过交叉验证的最先进频率学RRR方法相当。
• 谱缩放的学生t先验成功诱导了低秩结构，且无需预先指定秩，从而实现了灵活高效的贝叶斯推断。