[论文解读] Kernel Regression for Signals over Graphs.

Arun Venkitaraman, Saikat Chatterjee+1 more|arXiv (Cornell University)|Jun 7, 2017

Advanced Graph Neural Networks参考文献 60被引用 5

一句话总结

本文提出针对图上信号的核回归方法，利用图拉普拉斯正则化以增强平滑性并实现降噪。与传统回归方法相比，该方法在小样本或噪声较大的训练数据下表现更优，并能从有限样本中揭示潜在的图结构。

ABSTRACT

We propose kernel regression for signals over graphs. The optimal regression coefficients are learnt using the assumption that the target vector is a smooth signal over an underlying graph. The condition is imposed using a graph-Laplacian based regularization. We discuss how the proposed kernel regression exhibits a smoothing effect, simultaneously achieving noise-reduction and graph-smoothness. We further extend the kernel regression to simultaneously learn the underlying graph and the regression coefficients. We validate our theory by application to various synthesized and real-world graph signals. Our experiments show that kernel regression over graphs outperforms conventional regression, particularly for small sized training data and under noisy training. We also observe that kernel regression reveals the structure of the underlying graph even with a small number of training samples.

研究动机与目标

• 提出一种通过图拉普拉斯正则化强制平滑性的图信号回归框架。
• 解决图信号回归中训练数据噪声大或样本有限的挑战。
• 从数据中同时学习潜在图结构与回归系数。
• 在合成与真实世界图信号上验证该方法，以证明其鲁棒性与结构恢复能力。

提出的方法

• 基于图拉普拉斯正则化构建核回归，确保目标信号在潜在图上保持平滑。
• 通过最小化结合数据保真度与图平滑性项的损失函数，优化回归系数。
• 提出一种联合学习框架，通过迭代方式估计图结构与回归系数。
• 采用核化表示将信号映射到再生核希尔伯特空间，以捕捉非线性关系。
• 将图拉普拉斯作为先验，惩罚高频变化，促进信号平滑。
• 应用优化技术求解正则化最小化问题，平衡拟合与平滑性。

实验结果

研究问题

• RQ1 在小样本或噪声较大的训练集中，图上核回归能否有效降噪并保持信号结构？
• RQ2 该方法从有限训练样本中恢复潜在图拓扑的能力如何？
• RQ3 与标准方法相比，引入图拉普拉斯正则化是否能提升回归性能？
• RQ4 联合学习图结构与回归系数在多大程度上提升了模型泛化能力？

主要发现

• 核回归在训练数据较少或噪声较大的情况下，显著优于传统回归方法。
• 通过图平滑性约束，该方法在有效降噪的同时保持了良好的信号保真度。
• 即使训练样本极少，算法仍能成功揭示真实的潜在图结构。
• 联合学习图结构与回归系数通过自适应调整图结构以匹配数据特征，从而提升性能。
• 在合成与真实图信号上的实验验证了该方法的鲁棒性与泛化能力。
• 通过降低方差与提升预测精度，实验验证了核回归的平滑效果。