[论文解读] Matrix Completion with Hierarchical Graph Side Information

Adel Elmahdy, Junhyung Ahn+2 more|arXiv (Cornell University)|Jan 2, 2022

Advanced Graph Neural Networks参考文献 60被引用 9

一句话总结

该论文提出了一种新颖的矩阵补全算法，利用分层图侧信息——具体而言，是具有每子群独特评分向量的两级聚类结构——以实现最优样本复杂度。通过迭代地优化图聚类和评分预测，该方法在分层随机块模型下达到了信息论极限，显著优于非分层方法在样本效率方面的表现。

ABSTRACT

We consider a matrix completion problem that exploits social or item similarity graphs as side information. We develop a universal, parameter-free, and computationally efficient algorithm that starts with hierarchical graph clustering and then iteratively refines estimates both on graph clustering and matrix ratings. Under a hierarchical stochastic block model that well respects practically-relevant social graphs and a low-rank rating matrix model (to be detailed), we demonstrate that our algorithm achieves the information-theoretic limit on the number of observed matrix entries (i.e., optimal sample complexity) that is derived by maximum likelihood estimation together with a lower-bound impossibility result. One consequence of this result is that exploiting the hierarchical structure of social graphs yields a substantial gain in sample complexity relative to the one that simply identifies different groups without resorting to the relational structure across them. We conduct extensive experiments both on synthetic and real-world datasets to corroborate our theoretical results as well as to demonstrate significant performance improvements over other matrix completion algorithms that leverage graph side information.

研究动机与目标

• 通过利用分层社交或物品相似性图作为侧信息，解决推荐系统中的冷启动问题。
• 表征在分层图模型下实现可靠矩阵补全所需的观测矩阵条目数的信息论最小值。
• 开发一种计算高效、无需调参的算法，在广泛场景下实现最优样本复杂度。

提出的方法

• 该算法首先进行分层图聚类，以识别用户网络中的簇和子簇（群组）。
• 然后通过联合优化框架，迭代地优化图聚类结构和矩阵评分估计。
• 该方法将簇内每个群组建模为位于低维子空间中的独立评分向量，从而实现结构化估计。
• 采用分层随机块模型来形式化群组与簇之间的关系结构，捕捉真实社交图的特性。
• 理论分析依赖于集中不等式和修正法，以证明无边子群的存在性，确保聚类的鲁棒性。
• 该算法通过充分利用群组间评分向量之间的关系结构，而非仅依赖群组归属，实现了最优样本复杂度。

实验结果

研究问题

• RQ1 当存在分层图侧信息时，实现可靠矩阵补全所需的观测条目数的根本极限是什么？
• RQ2 与将群组视为独立的情况相比，利用子群组间评分向量的关联结构在样本复杂度方面有何优势？
• RQ3 在现实的分层图模型下，能否设计一种计算高效、无需调参的算法，达到信息论下限？
• RQ4 与不建模关系结构的简单聚类相比，社交图的分层结构是否能显著提升样本复杂度？
• RQ5 所提出的算法在合成数据集和真实世界数据集上的实证表现如何，相较于现有图辅助矩阵补全算法？

主要发现

• 所提出的算法在分层随机块模型下实现了矩阵补全的信息论最优样本复杂度。
• 与忽略子群组间评分向量关系结构的非分层方法相比，该方法显著减少了所需观测条目数。
• 理论分析证实，该算法的样本复杂度与最大似然估计的下限一致，证明了其最优性。
• 在合成数据集和真实世界数据集上的实证结果表明，该方法在性能上持续优于现有图辅助矩阵补全方法。
• 该算法无需超参数且计算高效，适用于推荐系统中的实际部署。
• 采用分层结构在样本复杂度上带来了显著增益，验证了在社交图中建模群组间关系的重要性。