[论文解读] Geometric Matrix Completion with Recurrent Multi-Graph Neural Networks

Federico Monti, Michael M. Bronstein+1 more|arXiv (Cornell University)|Apr 22, 2017

Graph Theory and Algorithms被引用 241

一句话总结

本文提出了循环图卷积神经网络（RGCNN）用于矩阵补全，利用在用户/物品图上的多图卷积结合LSTM扩散来预测评分，达到状态-of-the-art，参数数量恒定。

ABSTRACT

Matrix completion models are among the most common formulations of recommender systems. Recent works have showed a boost of performance of these techniques when introducing the pairwise relationships between users/items in the form of graphs, and imposing smoothness priors on these graphs. However, such techniques do not fully exploit the local stationarity structures of user/item graphs, and the number of parameters to learn is linear w.r.t. the number of users and items. We propose a novel approach to overcome these limitations by using geometric deep learning on graphs. Our matrix completion architecture combines graph convolutional neural networks and recurrent neural networks to learn meaningful statistical graph-structured patterns and the non-linear diffusion process that generates the known ratings. This neural network system requires a constant number of parameters independent of the matrix size. We apply our method on both synthetic and real datasets, showing that it outperforms state-of-the-art techniques.

研究动机与目标

• 将图结构先验引入矩阵补全，以捕捉用户/物品图中的局部平稳性。
• 开发一个学习图结构模式与评分扩散动态的神经架构。
• 实现常数参数量，并在可扩展的分解或全矩阵表达中。
• 在合成与真实推荐数据集上相较基线展示更优性能。

提出的方法

• 将矩阵视为在行/列图上存在，使用拉普拉斯算子对 X 进行平滑正则化。4
• 使用多图卷积神经网络（MGCNN）通过切比雪夫多项式滤波在用户和物品图之间提取空间特征，以保持 O(mn) 复杂度。
• 可选地对 W 和 H 使用可分解（因式分解）的 GCNN 以将参数数量降至 O(m+n)。
• 将空间特征与循环神经网络（LSTM）耦合，执行类似扩散的时间更新 X^(t+1)=X^(t)+dX^(t)。
• 通过最小化包含基于图的正则化项和对观测条目进行掩蔽的 Frobenius 拟合的损失来进行端到端训练。
• 提供两种体系结构：(i) 全矩阵完成，结合 MGCNN+RNN（RGCNN），以及 (ii) 因式分解的可分模型（sRGCNN），用两个 GCNN 与一个 RNN 针对 W 和 H。

实验结果

研究问题

• RQ1 几何深度学习在图上的应用能否提升矩阵补全，相对于传统的图正则化或低秩方法？
• RQ2 通过在图结构分数上进行循环扩散的 MGCNN 是否在合成和真实数据集上优于现有基线？
• RQ3 在全矩阵与因子分解表示（W, H）之间，在可扩展性与准确性方面的权衡是什么？
• RQ4 需要多少扩散步数以及什么图多项式阶数才能实现稳健的性能？

主要发现

• 在具有强社区结构的合成数据上，RGCNN 在所比较方法中实现了最佳 RMSE（例如：RGCNN 的 0.0053，对比 GMC/GRALS/sRGCNN 的更高值）。
• 在仅列的合成设置中，sRGCNN 仍优于 GRALS 及其他基线（例如 RMSE 0.0362 vs. GRALS 的 0.0452）。
• 在 MovieLens 数据集上，RGCNN 及其变体优于基线（例如 sRGCNN RMSE 0.929 vs MC 0.973 和 GMC 0.996）。
• 在 Flixster、Douban、YahooMusic 数据集上，RGCNN 家族优于 GRALS、GMC 等最先进方法，sRGCNN/RGCNN 达到报道的最佳 RMSE。
• 该方法保持极小数量的学习参数（全 RGCNN 为 O(1)；分解的 sRGCNN 则为 O(m+n)），并且在架构上具有 O(mn) 或 O(m+n) 的复杂度。
• 通过 Chebyshev 多项式的学习谱滤波器以及基于扩散的训练，产生可解释的谱模式和扩散动态（在谱滤波器图中有示意）。