[论文解读] Graph Construction from Data using Non Negative Kernel regression (NNK Graphs)

Sarath Shekkizhar, Antonio Ortega|arXiv (Cornell University)|Oct 21, 2019

Advanced Graph Neural Networks参考文献 34被引用 11

一句话总结

本文提出非负核回归（NNK）用于数据驱动的图结构构建，将其建模为核空间中的稀疏信号逼近问题，以生成鲁棒且可解释的图。NNK在半监督学习中优于最先进方法，表现出更优性能并降低对稀疏性超参数 $K$ 的敏感性。

ABSTRACT

Data driven graph constructions are often used in various applications, including several machine learning tasks, where the goal is to make predictions and discover patterns. However, learning an optimal graph from data is still a challenging task. Weighted $K$-nearest neighbor and $\epsilon$-neighborhood methods are among the most common graph construction methods, due to their computational simplicity but the choice of parameters such as $K$ and $\epsilon$ associated with these methods is often ad hoc and lacks a clear interpretation. We formulate graph construction as the problem of finding a sparse signal approximation in kernel space, identifying key similarities between methods in signal approximation and existing graph learning methods. We propose non-negative kernel regression~(NNK), an improved approach for graph construction with interesting geometric and theoretical properties. We show experimentally the efficiency of NNK graphs, its robustness to choice of sparsity $K$ and better performance over state of the art graph methods in semi supervised learning tasks on real world data.

研究动机与目标

• 解决传统图构建方法（如 $K$-NN 和 $\epsilon$-邻域）中临时且难以解释的参数选择问题（例如 $K$、$\epsilon$）。
• 将图构建形式化为核空间中的稀疏信号逼近问题，以统一并改进现有方法。
• 提出一种理论基础坚实且具有几何意义的方法，从数据中构建加权图。
• 利用所得图提升半监督学习任务中的鲁棒性与性能。
• 提供一种有原则的替代方案，以取代启发式图构建技术，具备清晰的可解释性与稳定性。

提出的方法

• 将图构建形式化为在核诱导特征空间中，利用非负约束寻找数据点的稀疏表示。
• 应用非负核回归（NNK）识别每个数据点的最相关邻居，确保稀疏性与非负性。
• 使用核函数在高维特征空间中度量相似性，从而灵活捕捉非线性模式。
• 通过带非负约束的优化，仅选择最相关的 $K$ 个邻居以实现稀疏性。
• 构建加权图，其中边权重源自NNK框架中的回归系数。
• 通过利用核空间和稀疏逼近的性质，确保几何一致性与可解释性。

实验结果

研究问题

• RQ1 如何系统地将图构建形式化为核空间中的稀疏信号逼近问题？
• RQ2 从非负核回归导出的图构建方法具有哪些几何与理论特性？
• RQ3 与传统的 $K$-NN 和 $\epsilon$-邻域方法相比，NNK图构建在超参数选择上的鲁棒性如何？
• RQ4 NNK图在真实世界数据集的半监督学习任务中的表现如何？
• RQ5 与最先进图学习方法相比，NNK图能否实现更好的泛化能力与稳定性？

主要发现

• NNK图在真实世界数据的半监督学习任务中，性能优于最先进图构建方法。
• 该方法对稀疏性参数 $K$ 的选择表现出高度鲁棒性，相比传统方法显著降低了敏感性。
• NNK图源自有原则的信号逼近框架，其可解释性明显优于启发式 $K$-NN 或 $\epsilon$-邻域方法。
• 通过在核空间中构建图，NNK能更有效地捕捉复杂非线性关系，优于线性或固定邻域方法。
• 回归过程中的非负约束确保了物理上有意义且稳定的边权重，提升了模型可靠性。
• 实证结果证实，NNK图在多个基准数据集上均一致提升了预测准确性。