[论文解读] Spectral Geometric Matrix Completion

Amit Boyarski, Sanketh Vedula+1 more|arXiv (Cornell University)|Nov 17, 2019

Sparse and Compressive Sensing Techniques参考文献 50被引用 5

一句话总结

该论文提出谱几何矩阵补全（Spectral Geometric Matrix Completion, SGMC），一种将显式谱几何先验（如图拉普拉斯正则化）整合到基于梯度的深度矩阵分解（Deep Matrix Factorization, DMF）优化中的深度矩阵分解（DMF）框架。通过利用深度线性网络的隐式低秩正则化与显式的基于图的平滑性约束，SGMC在推荐系统和药物-靶标相互作用基准上实现了最先进性能，且代码量极少，展示了几何归纳偏置在数据稀缺场景下的强大能力。

ABSTRACT

Deep Matrix Factorization (DMF) is an emerging approach to the problem of matrix completion. Recent works have established that gradient descent applied to a DMF model induces an implicit regularization on the rank of the recovered matrix. In this work we interpret the DMF model through the lens of spectral geometry. This allows us to incorporate explicit regularization without breaking the DMF structure, thus enjoying the best of both worlds. In particular, we focus on matrix completion problems with underlying geometric or topological relations between the rows and/or columns. Such relations are prevalent in matrix completion problems that arise in many applications, such as recommender systems and drug-target interaction. Our contributions enable DMF models to exploit these relations, and make them competitive on real benchmarks, while exhibiting one of the first successful applications of deep linear networks.

研究动机与目标

• 在经典低秩假设失效的数据稀缺场景中，通过引入行/列之间的几何或拓扑结构来解决矩阵补全问题。
• 在不破坏其隐式低秩正则化能力的前提下，将显式的几何先验（如基于图的平滑性）整合到深度矩阵分解（DMF）中。
• 证明简单的深度线性网络结合几何归纳偏置，可在推荐系统和药物-靶标相互作用预测等实际应用中超越复杂模型。
• 挑战推荐数据集中辅助信息可被可靠利用的假设，并表明当前方法往往未能有效利用这些信息。

提出的方法

• 该方法将矩阵补全问题表述为深度矩阵分解（DMF）问题，其中矩阵 X 被参数化为多个线性层的乘积。
• 引入基于图拉普拉斯的谱几何正则化项，惩罚行图和列图上因子信号的高频变化。
• 通过在 DMF 参数上进行梯度下降优化，隐式诱导出强低秩正则化，尤其在深度 N 增加时更为显著。
• 模型使用乘积图结构来表示用户与项目（或药物与靶标）之间的关系，将矩阵视为定义在乘积图上的信号。
• 正则化项定义为 Dirichlet 能量：∑(a,b)∈E ωa,b(x(a)−x(b))²，以促进图上的平滑性。
• 通过自动微分实现端到端的框架应用，实现几何先验与 DMF 目标函数的高效训练与集成。

实验结果

研究问题

• RQ1 显式的几何先验能否在不破坏其隐式低秩正则化能力的前提下，被有效整合到深度矩阵分解中？
• RQ2 将谱几何与基于梯度的 DMF 优化相结合，如何提升在数据稀缺场景下的矩阵补全性能？
• RQ3 当前推荐系统数据集中有多少可用的辅助信息？为何现有方法未能有效利用这些信息？
• RQ4 在真实世界的矩阵补全任务中，一个带有几何归纳偏置的简单深度线性网络能否超越更复杂的模型？

主要发现

• 尽管仅使用少量代码，SGMC 在真实世界推荐系统和药物-靶标相互作用数据集上仍优于多个复杂基线模型。
• 该方法通过结合深度线性网络的隐式低秩正则化与显式的图拉普拉斯正则化，实现了最先进性能。
• DMF 中的隐式正则化强于核范数最小化，且随着深度 N 增加而更加显著。
• 在经典低秩恢复定理不成立的数据稀缺场景中，几何先验的引入显著提升了性能。
• 该研究揭示，标准推荐数据集中辅助信息常被现有方法未能有效利用，表明模型设计与数据利用之间存在明显差距。