[论文解读] A Graph Neural Network with Negative Message Passing for Graph Coloring

Wang Xiangyu, Xueming Yan+1 more|arXiv (Cornell University)|Jan 26, 2023

Computational Drug Discovery Methods被引用 5

一句话总结

该论文提出GNN-1N，一种新颖的图神经网络，采用负消息传递机制以解决图着色问题，这是异质性图数据的代表性难题。通过整合负消息传递以强制连接节点之间呈现差异性，并结合自信息损失函数以实现稳定训练，GNN-1N在公开的图着色基准数据集和一个真实世界的出租车调度应用中，性能优于五种最先进方法。

ABSTRACT

Graph neural networks have received increased attention over the past years due to their promising ability to handle graph-structured data, which can be found in many real-world problems such as recommended systems and drug synthesis. Most existing research focuses on using graph neural networks to solve homophilous problems, but little attention has been paid to heterophily-type problems. In this paper, we propose a graph network model for graph coloring, which is a class of representative heterophilous problems. Different from the conventional graph networks, we introduce negative message passing into the proposed graph neural network for more effective information exchange in handling graph coloring problems. Moreover, a new loss function taking into account the self-information of the nodes is suggested to accelerate the learning process. Experimental studies are carried out to compare the proposed graph model with five state-of-the-art algorithms on ten publicly available graph coloring problems and one real-world application. Numerical results demonstrate the effectiveness of the proposed graph neural network.

研究动机与目标

• 解决异质性图着色问题（GCPs）的挑战，此类问题为NP难问题，且传统图神经网络（GNNs）设计用于同质性数据，难以适用。
• 通过引入负消息传递机制，克服现有GNN在处理GCPs时的局限性，强制连接节点之间呈现差异性。
• 通过结合效用目标与收敛性目标的新型损失函数，实现稳定、无监督的训练过程。
• 在合成基准数据集与真实世界出租车调度应用中均验证方法的有效性。
• 通过引入自信息作为收敛性正则化项，提升训练稳定性与解的质量。

提出的方法

• 提出负消息传递机制：节点不仅从邻居聚合信息，还从其负向对应节点聚合信息，以强制实现连接节点间的差异性，从而抵消同质性归纳偏置的影响。
• 设计一种混合消息传递机制，结合标准（正向）消息传递与负向消息传递，以同时捕捉局部特征与对比特征。
• 提出复合损失函数：F = f_utility + λ·f_conv，其中f_utility用于最小化冲突，f_conv（自信息）用于稳定训练。
• 利用自信息（f_conv）作为收敛性目标，减少训练过程中的波动并加速收敛。
• 以无监督方式应用模型，无需真实颜色标签，完全依赖损失函数引导学习过程。
• 将模型实现为GNN-1N，通过在复合损失函数上进行反向传播，更新节点嵌入。

Figure 2: The framework of the proposed method, where the first-order aggregator applies Eq. ( 4 ) and the second-order aggregator uses the original aggregator Eq. ( 3 ). Between the first and the second hidden layers, dropout is employed to avoid getting stuck in local optimums.

实验结果

研究问题

• RQ1 与标准消息传递相比，负消息传递是否能提升GNN在异质性图着色问题上的性能？
• RQ2 在无监督图着色GNN中，将自信息引入损失函数如何影响训练稳定性与收敛性？
• RQ3 所提出的GNN-1N模型是否在标准图着色基准上优于现有最先进GNN方法？
• RQ4 GNN-1N能否有效解决真实世界图着色应用，如具有时间约束的出租车调度问题？
• RQ5 同时包含效用目标与收敛性目标的损失函数在多大程度上减少了训练波动并提升了解的质量？

主要发现

• GNN-1N在十个公开图着色数据集上优于五种最先进算法，实现了更低的冲突数量与更快的收敛速度。
• 损失函数中引入自信息项（f_conv）后，训练曲线显著更平滑、更稳定，冲突数量的波动明显减少。
• 在queen6-6与queen8-12图上，包含自信息的损失函数（公式8）实现了稳定的冲突减少，而基线方法（公式6）表现出高度不稳定性与振荡现象。
• 该模型成功解决了包含四辆出租车的真实世界出租车调度问题，将七名乘客分配至四个互不重叠的组，且无任何调度冲突。
• 运行时分析表明，GNN-1N的时间复杂度与PI-GNN相当，随节点数与边数线性增长，表明无显著计算开销。
• 消融实验验证，负消息传递与自信息损失组件对高性能与训练稳定性均至关重要。

Figure 3: The final color assignment of queen13-13 with 169 nodes given by our method. Only 15 conflicts highlighted in red lines exist out of 3328 edges (in grey lines) in this figure.