[论文解读] Localized Iterative Methods for Interpolation in Graph Structured Data

Sunil K. Narang, Akshay Gadde+2 more|arXiv (Cornell University)|Oct 9, 2013

Advanced Graph Neural Networks参考文献 7被引用 12

一句话总结

本文提出两种针对图结构数据中缺失值插值的局部化迭代图滤波方法，利用带限信号重建与正则化技术，实现高效、可扩展的解决方案。在推荐系统数据集上，这些方法优于现有方法，其迭代变体在保持或超越精确解精度的同时，显著降低了计算成本。

ABSTRACT

In this paper, we present two localized graph filtering based methods for interpolating graph signals defined on the vertices of arbitrary graphs from only a partial set of samples. The first method is an extension of previous work on reconstructing bandlimited graph signals from partially observed samples. The iterative graph filtering approach very closely approximates the solution proposed in the that work, while being computationally more efficient. As an alternative, we propose a regularization based framework in which we define the cost of reconstruction to be a combination of smoothness of the graph signal and the reconstruction error with respect to the known samples, and find solutions that minimize this cost. We provide both a closed form solution and a computationally efficient iterative solution of the optimization problem. The experimental results on the recommendation system datasets demonstrate effectiveness of the proposed methods.

研究动机与目标

• 解决精确带限图信号重建因需要特征值分解而导致的计算效率低下问题。
• 开发可扩展的、局部化的插值方法，用于图结构信号中的缺失值填充，而无需完整的谱分解。
• 提出一种正则化框架，以在已知样本点处平衡信号平滑性与重建误差。
• 在部分观测的真实世界推荐系统数据集上验证方法的有效性。
• 提供闭式解与迭代解，以支持大规模部署的高效性。

提出的方法

• 将插值问题表述为在由截止频率 ω 定义的带限子空间上的最小二乘重建问题，ω 由图拓扑结构与已知样本共同决定。
• 通过使用归一化拉普拉斯矩阵的多项式近似理想低通图滤波器，实现无需特征分解的高效矩阵-向量计算。
• 提出一种基于正则化的代价函数，结合已知样本点处的数据拟合误差与 ω 带限子空间外的信号能量。
• 推导出正则化优化问题的闭式解，并设计一种迭代图滤波算法以高效逼近该解。
• 应用基于核的链接权重调整与双边校正方法，以在推荐系统中优化项目相似性图。
• 利用迭代图滤波在图中以局部化、分布式的方式计算重构信号。

实验结果

研究问题

• RQ1 迭代图滤波是否能以更低的计算成本更高效地逼近精确的带限信号重建，同时保持精度？
• RQ2 当真实信号并非严格带限时，正则化如何提升插值性能？
• RQ3 在大规模图中，局部化多项式滤波对计算成本与收敛性有何影响？
• RQ4 所提方法与推荐系统中当前最先进的协同过滤技术相比表现如何？
• RQ5 链接权重估计与用户特定图自适应对插值性能的影响程度如何？

主要发现

• 在Movielens与Jester数据集上，迭代最小二乘重构（ILSR）方法优于精确最小二乘方法（LSR），可能归因于迭代滤波器能够包含部分较高频分量。
• 正则化方法（RBM）在Movielens与BX-Books数据集上分别取得0.2828与0.2651的最优归一化RMSE，优于PMF与RBM基线方法。
• 基于正则化的迭代方法（IRBM）性能与精确RBM方法相差不足1%，展现出极强的近似效率。
• 在Jester数据集上，该方法取得0.2315的归一化RMSE（IRBM），接近表现最佳的PMF方法（0.2299）。
• 该方法性能对链接权重准确性敏感，在每项评分数量充足的Movielens与Jester等数据集上表现更优。
• 使用拉普拉斯滤波器的多项式近似使得无需特征分解即可实现可扩展计算，使该方法适用于大规模图。