[论文解读] Can Hybrid Geometric Scattering Networks Help Solve the Maximum Clique Problem?

Yimeng Min, Frederik Wenkel+2 more|arXiv (Cornell University)|Jun 3, 2022

Advanced Graph Neural Networks被引用 4

一句话总结

本文提出了一种基于混合几何散射的图神经网络（GNN），以高效近似求解NP难的最大团（MC）问题。通过结合带通小波滤波器与GCN型卷积，该模型缓解了过度平滑问题，实现了精确的节点表征学习；其在准确率和推理速度上均达到最先进水平，参数量仅为先前GNN模型的0.04–0.07%，且在大规模复杂图上优于Gurobi和启发式求解器。

ABSTRACT

We propose a geometric scattering-based graph neural network (GNN) for approximating solutions of the NP-hard maximum clique (MC) problem. We construct a loss function with two terms, one which encourages the network to find highly connected nodes and the other which acts as a surrogate for the constraint that the nodes form a clique. We then use this loss to train an efficient GNN architecture that outputs a vector representing the probability for each node to be part of the MC and apply a rule-based decoder to make our final prediction. The incorporation of the scattering transform alleviates the so-called oversmoothing problem that is often encountered in GNNs and would degrade the performance of our proposed setup. Our empirical results demonstrate that our method outperforms representative GNN baselines in terms of solution accuracy and inference speed as well as conventional solvers like Gurobi with limited time budgets. Furthermore, our scattering model is very parameter efficient with only $\sim$ 0.1\% of the number of parameters compared to previous GNN baseline models.

研究动机与目标

• 为利用深度学习高效求解NP难的最大团（MC）问题。
• 克服标准GNN中因过度平滑问题导致的节点区分能力下降，从而影响团查找任务。
• 设计一种参数高效、推理快速的模型，以在大规模复杂图上高精度近似最大团。
• 利用几何散射变换提升节点表征的可区分性，以增强团检测能力。
• 开发一种两阶段框架，结合无监督GNN学习与保持约束的解码器，用于团提取。

提出的方法

• 该模型采用混合架构，结合图卷积网络（GCN）与几何散射滤波器，从图结构中提取多尺度、带通特征。
• 采用双项损失函数：一项用于促进预测节点的高连通性，另一项作为团约束的代理函数。
• 散射变换引入基于小波的滤波器，保留结构边界，减少过度平滑，提升节点表征的区分度。
• 节点表征被学习为[0,1]^n中的概率向量，表示其属于最大团的可能性。
• 采用基于规则的贪心解码器，通过选择概率最高的节点提取最终团，且在预测后强制执行团约束。
• 模型通过可微损失端到端训练，尽管目标问题具有NP难性质，仍能实现高效优化。

实验结果

研究问题

• RQ1 基于几何散射的GNN架构是否能有效缓解图神经网络在组合优化任务中的过度平滑问题？
• RQ2 引入带通小波滤波器是否能提升复杂图中识别最大团的节点表征质量？
• RQ3 参数极简的混合GNN是否能在推理速度和准确率上超越最先进GNN模型及传统求解器（如Gurobi）？
• RQ4 所提模型在不同图复杂度级别（简单、中等、困难）下的性能表现如何？
• RQ5 使用保持约束的解码器在多大程度上提升了求解质量，相较于标准解码策略？

主要发现

• 在LARGE-hard数据集上，该模型实现了0.975 ± 0.050的近似得分，优于所有其他神经网络基线模型。
• 在LARGE-hard数据集上，该模型的推理速度比RUN-CSP（准确）快12倍，后者是性能最接近的神经网络模型。
• 在相同数据集上，Gurobi和启发式方法（Xu et al., 2005）虽然准确率更高，但分别需要131倍和49倍的更长推理时间。
• 在COLLAB数据集上，该模型仅使用1,001个参数，仅占Erdös’ GNN基线模型1,880,709个参数的0.05%。
• 在IMDB数据集上，该模型以705个参数实现了0.972 ± 0.259的近似得分，显著优于GNN基线模型，在速度和准确率上均表现更优。
• 该混合散射模型在所有子数据集（简单、中等、困难）上均保持高性能，其中在中等和困难实例上的性能差距最大。