[논문 리뷰] A Graph Neural Network with Negative Message Passing for Graph Coloring

Wang Xiangyu, Xueming Yan외 1명|arXiv (Cornell University)|2023. 01. 26.

Computational Drug Discovery Methods인용 수 5

한 줄 요약

이 논문은 그래프 색칠 문제라는 대표적인 이종성 문제에 적합한, 음성 메시지 전파를 갖춘 새로운 그래프 신경망 GNN-1N을 제안한다. 연결된 노드 간의 이질성을 강제하기 위해 음성 메시지 전파를 통합하고, 안정적인 훈련을 위해 자기정보를 포함한 손실 함수를 설계함으로써, 공개된 그래프 색칠 벤치마크와 실생활 택시 스케줄링 응용에서 다섯 가지 최신 기법보다 뛰어난 성능을 달성한다.

ABSTRACT

Graph neural networks have received increased attention over the past years due to their promising ability to handle graph-structured data, which can be found in many real-world problems such as recommended systems and drug synthesis. Most existing research focuses on using graph neural networks to solve homophilous problems, but little attention has been paid to heterophily-type problems. In this paper, we propose a graph network model for graph coloring, which is a class of representative heterophilous problems. Different from the conventional graph networks, we introduce negative message passing into the proposed graph neural network for more effective information exchange in handling graph coloring problems. Moreover, a new loss function taking into account the self-information of the nodes is suggested to accelerate the learning process. Experimental studies are carried out to compare the proposed graph model with five state-of-the-art algorithms on ten publicly available graph coloring problems and one real-world application. Numerical results demonstrate the effectiveness of the proposed graph neural network.

연구 동기 및 목표

• 동종성 데이터를 위한 전통적인 GNN이 잘 작동하지 않는 NP-완전 문제인 이종성 그래프 색칠 문제(GCP)를 해결하는 데 도전한다.
• 연결된 노드 간의 이질성을 강제하기 위해 음성 메시지 전파를 도입함으로써, 기존 GNN의 GCP 처리 능력에 한계가 있음을 극복한다.
• 유용성과 수렴 목표를 통합한 새로운 손실 함수를 통해 안정적인 비지도 훈련 과정을 개발한다.
• 합성 벤치마크와 실생활 택시 스케줄링 응용 모두에서 효과성을 입증한다.
• 자기정보를 수렴 정규화 요소로 통합함으로써 훈련 안정성과 해의 품질을 향상시킨다.

제안 방법

• 음성 메시지 전파 도입: 노드는 이웃으로부터의 메시지 외에도, 자신의 음성 대응자로부터의 메시지도 수신하여 연결된 노드 간의 이질성을 강제한다. 이는 동종성 유도 편향을 보완한다.
• 표준(양성) 및 음성 메시지 전파를 결합한 하이브리드 메시지 전파 메커니즘 설계로, 국소적 특징과 대조적 특징을 모두 포착한다.
• 복합 손실 함수 제안: F = f_utility + λ·f_conv, 여기서 f_utility는 갈등을 최소화하고 f_conv(자기정보)는 훈련을 안정화시킨다.
• 자기정보(f_conv)를 수렴 목표로 사용하여 훈련의 변동성을 줄이고 수렴 속도를 높인다.
• 지도 학습 없이 진짜 색상 할당 없이도 비지도 방식으로 모델을 적용하며, 손실 함수가 학습을 이끌도록 한다.
• 복합 손실에 대한 역전파를 통해 메시지 전파와 함께 노드 임베딩을 업데이트하는 GNN-1N로 모델을 구현한다.

Figure 2: The framework of the proposed method, where the first-order aggregator applies Eq. ( 4 ) and the second-order aggregator uses the original aggregator Eq. ( 3 ). Between the first and the second hidden layers, dropout is employed to avoid getting stuck in local optimums.

실험 결과

연구 질문

• RQ1 표준 메시지 전파 대비 음성 메시지 전파가 이종성 그래프 색칠 문제에서 GNN 성능을 향상시키는가?
• RQ2 손실 함수에 자기정보를 통합할 경우, 비지도 GNN의 그래프 색칠 훈련에서 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 제안된 GNN-1N 모델이 표준 그래프 색칠 벤치마크에서 기존 최신 기법을 초월하는가?
• RQ4 GNN-1N은 시간 제약 조건이 있는 할당을 포함한 실생활 택시 스케줄링 응용을 효과적으로 해결할 수 있는가?
• RQ5 유용성과 수렴 목표를 모두 포함한 손실 함수가 훈련 변동성을 얼마나 줄이고 해의 품질을 향상시키는가?

주요 결과

• GNN-1N은 공개된 10개의 그래프 색칠 데이터셋에서 다섯 가지 최신 알고리즘을 모두 능가하며, 갈등 수가 적고 수렴 속도가 빠르다.
• 손실 함수에 자기정보 항목(f_conv)을 포함시킴으로써 훈련 곡선이 훨씬 매끄럽고 안정적이 되었으며, 갈등 수의 변동성이 크게 감소했다.
• queen6-6 및 queen8-12 그래프에서, 자기정보를 포함한 손실 함수(Eq. 8)는 안정적인 갈등 감소를 달성했지만, 기준 모델(Eq. 6)은 높은 불안정성과 진동을 보였다.
• 실생활 택시 스케줄링 문제에서 모델은 네 대의 택시를 활용해 일곱 명의 고객을 겹치지 않는 네 그룹으로 할당하여 갈등 없이 성공적으로 해결했다.
• 실행 시간 분석 결과, GNN-1N의 시간 복잡도는 PI-GNN과 유사하며, 노드와 간선 수에 따라 스케일링되므로 의미 있는 계산 오버헤드가 없다.
• 제거 실험 결과, 음성 메시지 전파와 자기정보 손실 구성 요소 모두가 높은 성능과 훈련 안정성에 필수적임을 확인했다.

Figure 3: The final color assignment of queen13-13 with 169 nodes given by our method. Only 15 conflicts highlighted in red lines exist out of 3328 edges (in grey lines) in this figure.