[论文解读] Information-Guided Sampling for Low-Rank Matrix Completion

Simon Mak, Henry Shaowu Yushi+1 more|arXiv (Cornell University)|Jun 25, 2017

Sparse and Compressive Sensing Techniques参考文献 64被引用 4

一句话总结

该论文提出MaxEnt，一种基于信息论的低秩矩阵补全采样框架，通过贝叶斯子空间学习进行不确定性量化，以指导初始和序列化条目选择。在奇异矩阵-variate高斯模型下，通过最大化观测条目的熵，MaxEnt在具有高一致性的结构中，相较于均匀采样，在序列设置下实现了更优的恢复精度。

ABSTRACT

The noisy matrix completion problem, which aims to recover a low-rank matrix $\mathbf{X}$ from a partial, noisy observation of its entries, arises in many statistical, machine learning, and engineering applications. In this paper, we present a new, information-theoretic approach for active sampling (or designing) of matrix entries for noisy matrix completion, based on the maximum entropy design principle. One novelty of our method is that it implicitly makes use of uncertainty quantification (UQ) -- a measure of uncertainty for unobserved matrix entries -- to guide the active sampling procedure. The proposed framework reveals several novel insights on the role of compressive sensing (e.g., coherence) and coding design (e.g., Latin squares) on the sampling performance and UQ for noisy matrix completion. Using such insights, we develop an efficient posterior sampler for UQ, which is then used to guide a closed-form sampling scheme for matrix entries. Finally, we illustrate the effectiveness of this integrated sampling / UQ methodology in simulation studies and two applications to collaborative filtering.

研究动机与目标

• 为解决在噪声低秩矩阵补全中均匀随机采样的局限性，提出一种基于原理的信息论采样策略。
• 将未观测条目的不确定性量化（UQ）整合到采样过程中，以提高矩阵恢复精度。
• 通过信息论视角，揭示相干性与编码设计在矩阵补全采样中的作用。
• 开发一种可扩展的序列采样算法，能够根据学习到的子空间结构自适应调整，以提升性能。

提出的方法

• 采用奇异矩阵-variate高斯（SMG）模型对矩阵补全问题进行建模，对投影矩阵和噪声方差使用非信息性先验。
• 应用最大熵采样原理（Shewry & Wynn, 1987），将互信息最大化问题对偶化为最大化观测条目的熵。
• 推导出一个闭式获取函数（公式8），根据当前行和列子空间后验估计选择下一个采样条目。
• 利用投影矩阵的后验均值估计 $\hat{\mathcal{P}}_{\mathcal{U}}$ 和 $\hat{\mathcal{P}}_{\mathcal{V}}$ 计算基于熵的采样准则。
• 采用计算启发式方法，如相干性筛选和批量序列采样，使方法可扩展至高维矩阵（如 $60 \times 60$）。
• 将贝叶斯子空间学习与主动采样相结合，实现自适应、信息最大化条目选择。

实验结果

研究问题

• RQ1 如何利用未观测条目的不确定性量化来指导噪声低秩矩阵补全中的最优采样？
• RQ2 相干性与编码设计对矩阵补全采样效率的影响是什么？如何通过信息论视角进行定量分析？
• RQ3 最大熵采样框架是否能在初始和序列化矩阵条目选择中均优于均匀随机采样？
• RQ4 将贝叶斯子空间学习与信息论采样相结合，如何提升序列观测下的恢复精度？

主要发现

• 在真实秩分别为 $R=3$ 和 $R=4$ 的模拟 $30 \times 30$ 和 $60 \times 60$ 矩阵中，MaxEnt 的平均Frobenius误差低于均匀采样。
• 随着序列采样进行，MaxEnt 相对于均匀采样的改进显著增大，均匀采样在观测末期的平均误差已超过 MaxEnt 的第75百分位误差。
• 在 Jester 数据集（500 名用户，100 个笑话）中，MaxEnt 的初始误差低于均匀采样，证明了平衡初始设计的有效性。
• 在 MovieLens 数据集（300 名用户，1,700 部电影）中，MaxEnt 与均匀采样之间的性能差距在序列采样中显著扩大，尤其在高相干性结构下。
• 通过使用相干性筛选和批量序列启发式方法，MaxEnt 可高效扩展至数千维的矩阵。
• 该框架揭示，高相干性条目（如过度苛刻的用户或高度评价的项目）可通过子空间学习与熵最大化系统性地识别并优先处理。