[论文解读] Boolean Matrix Factorization and Noisy Completion via Message Passing

Siamak Ravanbakhsh, Barnabás Póczos+1 more|arXiv (Cornell University)|Sep 28, 2015

Blind Source Separation Techniques参考文献 27被引用 4

一句话总结

本文提出了一种用于布尔矩阵分解和噪声矩阵补全的消息传递算法，将问题建模为贝叶斯图模型中的最大后验概率推断。通过在布尔域中有效恢复低秩布尔结构，该方法实现了与观测值数量线性可扩展的性能，并在稀疏数据条件下显著优于当前最先进方法，尤其在低观测率场景下表现优异。

ABSTRACT

Boolean matrix factorization and Boolean matrix completion from noisy observations are desirable unsupervised data-analysis methods due to their interpretability, but hard to perform due to their NP-hardness. We treat these problems as maximum a posteriori inference problems in a graphical model and present a message passing approach that scales linearly with the number of observations and factors. Our empirical study demonstrates that message passing is able to recover low-rank Boolean matrices, in the boundaries of theoretically possible recovery and compares favorably with state-of-the-art in real-world applications, such collaborative filtering with large-scale Boolean data.

研究动机与目标

• 解决大规模稀疏数据集中布尔矩阵分解与补全的NP难问题。
• 开发一种高效的可扩展推断方法，适用于噪声干扰和部分观测的布尔矩阵。
• 利用图模型与信念传播实现布尔因子分析中的近似推断。
• 在真实世界协同过滤和投票记录预测任务中，尤其在低观测率条件下，超越现有方法。

提出的方法

• 将布尔矩阵分解与补全建模为贝叶斯图模型中的最大后验概率推断问题。
• 应用信念传播（BP）在给定观测值Z的前提下，对潜在布尔因子X和Y进行近似推断。
• 采用针对布尔域及XOR/布尔乘积运算定制的最小和与和积消息传递变体。
• 对因子采用均匀先验，并通过部分观测条目上的概率观测模型对噪声进行建模。
• 推导出与观测条目数量线性相关的消息更新规则，从而在大规模数据集上实现高效计算。
• 将该框架适配至标准布尔乘积（OR）与XOR乘积（异或），两者具有相似的消息传递推导过程。

实验结果

研究问题

• RQ1 在NP难约束下，消息传递能否提供一种高效且准确的布尔矩阵分解与补全解决方案？
• RQ2 在低观测率条件下，消息传递方法相较于GLRM和1-bit矩阵补全等最先进方法的性能表现如何？
• RQ3 当仅观测到少量条目时，消息传递在恢复低秩布尔结构方面的能力有多强？
• RQ4 所提出的方法能否有效应用于真实世界中的稀疏布尔数据集，如协同过滤和美国参议院投票记录？
• RQ5 消息传递方法是否具备足够的可扩展性与鲁棒性，以应对大规模应用中噪声和不完整观测？

主要发现

• 当仅观测到1%的条目时，消息传递显著优于其他方法，尤其在GLRM和1-bit补全方法上，预测误差更低。
• 在5%观测率下，消息传递在U.S.参议院投票数据集上的重构误差约为使用铰链损失的GLRM的一半。
• 在更高观测率（20%和50%）下，消息传递与GLRM性能相当，但GLRM略优，代价是计算时间大幅增加。
• 由于具备线性时间复杂度，消息传递在稀疏场景下运行速度比1-bit矩阵补全快数个数量级。
• 该方法在真实应用中成功恢复了低秩布尔结构，包括MovieLens和参议院投票数据，且精度较高。
• 该方法对噪声具有鲁棒性，即使每条评分仅提供一位信息，其性能仍优于使用完整序数评分的方法。