[论文解读] Bayesian matrix completion with a spectral scaled Student prior: theoretical guarantee and efficient sampling

Tien Mai|arXiv (Cornell University)|Apr 16, 2021

Sparse and Compressive Sensing Techniques参考文献 57被引用 5

一句话总结

本文提出了一种使用谱尺度t分布先验的贝叶斯矩阵补全方法，以利用数据矩阵中的低秩结构。在模型误设和一般采样条件下，建立了极小极大最优的Oracle不等式，并引入了高效的Langevin蒙特卡洛采样方法，其速度优于吉布斯采样，通过模拟和图像修复任务得到验证。

ABSTRACT

We study the problem of matrix completion in this paper. A spectral scaled Student prior is exploited to favour the underlying low-rank structure of the data matrix. Importantly, we provide a thorough theoretical investigation for our approach, while such an analysis is hard to obtain and limited in theoretical understanding of Bayesian matrix completion. More precisely, we show that our Bayesian approach enjoys a minimax-optimal oracle inequality which guarantees that our method works well under model misspecification and under general sampling distribution. Interestingly, we also provide efficient gradient-based sampling implementations for our approach by using Langevin Monte Carlo which is novel in Bayesian matrix completion. More specifically, we show that our algorithms are significantly faster than Gibbs sampler in this problem. To illustrate the attractive features of our inference strategy, some numerical simulations are conducted and an application to image inpainting is demonstrated.

研究动机与目标

• 为解决贝叶斯矩阵补全中缺乏理论理解的问题，特别是在模型误设和一般采样设计下的情况。
• 开发一种先验，通过谱尺度和重尾t分布有效促进数据矩阵中的低秩结构。
• 设计一种高效的后验采样算法，用于后验推断，其计算速度优于传统的吉布斯采样器。
• 为所提出的贝叶斯方法提供极小极大最优的理论保证，确保鲁棒性和统计最优性。
• 通过数值模拟和真实世界图像修复应用，展示该方法的实际有效性。

提出的方法

• 该方法采用谱尺度t分布先验，通过按比例缩放的t分布对奇异值进行收缩，从而诱导低秩结构。
• 该先验通过将标准t分布应用于矩阵奇异值的谱尺度变换构造而成。
• 理论分析建立了极小极大最优的Oracle不等式，证明了对模型误设和一般采样机制的鲁棒性。
• 通过Langevin蒙特卡洛（LMC）实现高效的后验采样，利用梯度信息实现比吉布斯采样更快的收敛速度。
• LMC的实现针对低秩矩阵结构进行了适配，实现了可扩展且精确的推断。
• 通过数值实验和一个真实世界的图像修复任务对算法进行了验证，展示了其在速度和准确性方面的优势。

实验结果

研究问题

• RQ1 使用谱尺度t分布先验的贝叶斯矩阵补全方法是否能在模型误设下实现极小极大最优性？
• RQ2 所提出的先验与现有先验相比，在促进矩阵补全中的低秩结构方面表现如何？
• RQ3 基于梯度的采样方法（如Langevin蒙特卡洛）是否能在计算效率方面优于该问题中的传统吉布斯采样器？
• RQ4 在一般采样分布下，该方法的理论性能保证是什么？
• RQ5 该方法在图像修复等实际应用中的表现如何？

主要发现

• 所提出的贝叶斯方法实现了极小极大最优的Oracle不等式，确保在模型误设和一般采样设计下的理论鲁棒性。
• 谱尺度t分布先验通过在奇异值上利用重尾分布，有效促进了低秩结构。
• Langevin蒙特卡洛采样显著快于吉布斯采样，实现了大规模矩阵补全任务中高效后验推断。
• 数值模拟证实了该方法在各种采样制度下恢复低秩矩阵的优越性能。
• 该方法在图像修复中表现出强大的实际性能，能够保留结构细节并实现高重建精度。
• 理论和实证结果共同确立了高效且鲁棒的贝叶斯矩阵补全的新基准。