[論文レビュー] A Graph Neural Network with Negative Message Passing for Graph Coloring

Wang Xiangyu, Xueming Yan+1 more|arXiv (Cornell University)|Jan 26, 2023

Computational Drug Discovery Methods被引用数 5

ひとこと要約

本稿では、代表的な非同質的問題であるグラフ彩色のための負のメッセージスティングを備えた、新しいグラフニューラルネットワークGNN-1Nを提案する。同手法は、接続されたノード間の類似性を強制する負のメッセージスティングと、安定した学習を実現する自己情報量を組み込んだ損失関数を統合することで、公開のグラフ彩色ベンチマークおよび実世界のタクシー予約アプリケーションにおいて、5つの最先端手法を上回る優れた性能を達成した。

ABSTRACT

Graph neural networks have received increased attention over the past years due to their promising ability to handle graph-structured data, which can be found in many real-world problems such as recommended systems and drug synthesis. Most existing research focuses on using graph neural networks to solve homophilous problems, but little attention has been paid to heterophily-type problems. In this paper, we propose a graph network model for graph coloring, which is a class of representative heterophilous problems. Different from the conventional graph networks, we introduce negative message passing into the proposed graph neural network for more effective information exchange in handling graph coloring problems. Moreover, a new loss function taking into account the self-information of the nodes is suggested to accelerate the learning process. Experimental studies are carried out to compare the proposed graph model with five state-of-the-art algorithms on ten publicly available graph coloring problems and one real-world application. Numerical results demonstrate the effectiveness of the proposed graph neural network.

研究の動機と目的

• 同質的データを想定した従来のGNNに不適切なNP困難な非同質的グラフ彩色問題（GCP）を解く挑戦に取り組む。
• 接続されたノード間の類似性を強制する負のメッセージスティングを導入することで、既存のGNNがGCPを処理する際の限界を克服する。
• 利便性と収束の目的を組み合わせた新しい損失関数を用いて、安定した教師なし学習プロセスを構築する。
• 合成ベンチマークおよび実世界のタクシー予約アプリケーションの両方で有効性を実証する。
• 収束正則化子として自己情報量を組み込むことで、学習の安定性と解の品質を向上させる。

提案手法

• 負のメッセージスティングの導入：ノードは隣接ノードからの情報だけでなく、それらの負の対応物からの情報も集約し、同質的インダクティブバイアスを是正する。
• 標準（正の）および負のメッセージスティングを組み合わせたハイブリッドメッセージスティングメカニズムを設計し、局所的および対照的特徴を両方捉える。
• 複合損失関数を提案：F = f_utility + λ·f_conv で、f_utility は矛盾を最小化し、f_conv（自己情報量）は学習を安定化させる。
• 自己情報量（f_conv）を収束目的関数として用い、学習のフラクチュエーションを低減し、収束を加速する。
• 教師あり情報のない教師なしのアプローチを採用し、学習を損失関数が指針とする。
• GNN-1Nとしてモデルを実装し、ノード埋め込みを複合損失関数に基づくメッセージスティングとバックプロパゲーションで更新する。

Figure 2: The framework of the proposed method, where the first-order aggregator applies Eq. ( 4 ) and the second-order aggregator uses the original aggregator Eq. ( 3 ). Between the first and the second hidden layers, dropout is employed to avoid getting stuck in local optimums.

実験結果

リサーチクエスチョン

• RQ1 標準的なメッセージスティングと比較して、負のメッセージスティングは非同質的グラフ彩色問題におけるGNN性能を向上させるか？
• RQ2 損失関数に自己情報量を組み込むことで、教師なしGNNにおけるグラフ彩色の学習安定性と収束性はどのように変化するか？
• RQ3 提案されたGNN-1Nモデルは、標準的なグラフ彩色ベンチマークで既存の最先端GNNを上回るか？
• RQ4 GNN-1Nは、時間制約付きの割り当てを伴う実世界のタクシー予約アプリケーションを効果的に解けるか？
• RQ5 利便性と収束の両目的を持つ損失関数は、学習のフラクチュエーションをどれほど低減し、解の品質を向上させるか？

主な発見

• GNN-1Nは10の公開グラフ彩色データセットで5つの最先端アルゴリズムを上回り、矛盾数が低く、収束が速い。
• 損失関数に自己情報量項（f_conv）を組み込むことで、矛盾数の変動が著しく低減され、学習曲線が滑らかで安定した。
• queen6-6およびqueen8-12グラフでは、自己情報量を含む損失関数（式8）が安定した矛盾低減を達成したが、ベースライン（式6）は高い不安定性と振動を示した。
• 実世界のタクシー予約問題（4台のタクシー、7人の顧客）を効果的に解き、重複のない4つのグループに顧客を割り当て、スケジューリングの矛盾が生じなかった。
• 実行時間解析から、GNN-1Nの時間計算量はPI-GNNと同等であり、ノード数およびエッジ数に比例してスケーリングされ、顕著な計算オーバーヘッドがないことが示された。
• アブレーションスタディにより、負のメッセージスティングと自己情報量損失部は、高い性能と学習安定性を達成するために不可欠であることが確認された。

Figure 3: The final color assignment of queen13-13 with 169 nodes given by our method. Only 15 conflicts highlighted in red lines exist out of 3328 edges (in grey lines) in this figure.