[論文レビュー] Rethinking Graph Neural Networks for the Graph Coloring Problem

Wei Li, Ruxuan Li+4 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

この論文は、グラフ彩色問題におけるグラフニューラルネットワーク（GNN）を再考し、標準的なAC-GNNが局所的な帰納的バイアスと異種性（heterophily）の扱いにくさのため失敗することを特定した。著者らは、識別力と色の等長性（color equivariance）を向上させるシンプルで深さを強化したAC-GNNの変種、GDNを提案する。GDNは、大規模な産業的グラフにおいて、最良のヒューリスティックアルゴリズムを10倍の速度で上回り、解の質においても優れている。

ABSTRACT

Graph coloring, a classical and critical NP-hard problem, is the problem of assigning connected nodes as different colors as possible. However, we observe that state-of-the-art GNNs are less successful in the graph coloring problem. We analyze the reasons from two perspectives. First, most GNNs fail to generalize the task under homophily to heterophily, i.e., graphs where connected nodes are assigned different colors. Second, GNNs are bounded by the network depth, making them possible to be a local method, which has been demonstrated to be non-optimal in Maximum Independent Set (MIS) problem. In this paper, we focus on the aggregation-combine GNNs (AC-GNNs), a popular class of GNNs. We first define the power of AC-GNNs in the coloring problem as the capability to assign nodes different colors. The definition is different with previous one that is based on the assumption of homophily. We identify node pairs that AC-GNNs fail to discriminate. Furthermore, we show that any AC-GNN is a local coloring method, and any local coloring method is non-optimal by exploring the limits of local methods over sparse random graphs, thereby demonstrating the non-optimality of AC-GNNs due to its local property. We then prove the positive correlation between model depth and its coloring power. Moreover, we discuss the color equivariance of graphs to tackle some practical constraints such as the pre-fixing constraints. Following the discussions above, we summarize a series of rules a series of rules that make a GNN color equivariant and powerful in the coloring problem. Then, we propose a simple AC-GNN variation satisfying these rules. We empirically validate our theoretical findings and demonstrate that our simple model substantially outperforms state-of-the-art heuristic algorithms in both quality and runtime.

研究の動機と目的

• 最新のGNNが異種性条件下でグラフ彩色問題において性能を発揮できない理由を調査すること。
• 特に局所的な帰納的バイアスと深さ制限の影響を受けるAC-GNNの限界を分析すること。
• 異種性環境下で識別力が強く、色の等長性を持つGNNを設計するための理論的ルールを確立すること。
• 既存のGNNやヒューリスティックアルゴリズムを上回る、シンプルで効果的なAC-GNNの変種（GDN）を開発・検証すること。

提案手法

• 著者らは、GNNの性能を、局所的に同等のノードを同じ埋め込みにマップすることではなく、異なる色を割り当てる必要があるノード（例：接続されたノード）を区別できる能力として再定義する。
• モデルの深さと彩色能力の正の相関関係を証明し、より深いGNNがグローバルな識別に優れていることを示す。
• 同種性（homophily）環境下で一般的なGNNの実践を逆転させる設計ルールを導出する。例えば、過剰なスムージングを避けることや、より深いアーキテクチャを好むこと。
• 識別力の向上と色の等長性の確保を、アーキテクチャの変更によって実現するGDNを提案する。
• 教師なし学習を用いてノードの色を予測し、真のラベルは一切不要である。
• 3つのデータセット（layout, COLOR, Queen）を用いた実験的検証を行い、GNN-GCP、Tabucol、HybridEAと比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的なAC-GNNは、同種性タスクで成功を収めているにもかかわらず、なぜグラフ彩色問題で失敗するのか？
• RQ2 モデルの深さは、特に異種性環境下でAC-GNNの彩色能力にどのように影響するのか？
• RQ3 色を異なる色で割り当てる必要があるノードを識別できるようにするためのアーキテクチャ的ルールは何か？
• RQ4 シンプルなAC-GNNの変種が、品質と効率の両面で最新のヒューリスティックを上回る性能を達成できるか？

主な発見

• 提案されたGDNモデルは、最新のヒューリスティックアルゴリズム（TabucolとHybridEA）を、解の質と実行時間の両面で上回り、大規模なグラフでは最大10倍の高速化を達成した。
• より深いAC-GNNは、彩色能力と正の相関関係にあることが示され、同種性タスクにおける過剰スムージングの原因となるという一般的な信念とは対照的であった。
• 広く使われているGCN（統合型AC-GNN）は、他のGNNと比較して彩色タスクで著しく劣っており、著者らの主張である「統合型アグリゲーションは異種性環境下で性能を損なう」というルールを裏付けた。
• GDNは、他のAC-GNNと比較してはるかに高い固定色比（色の等長性）を達成しており、事前色割り当て制約に対する耐性が向上していることが示された。
• Queen13_13データセットでは、GDNは33 ± 2件の衝突数を達成し、実行時間は2.38 ± 0.32秒であった。これは、精度と速度の両面でHybridEAやTabucolを上回った。
• 本手法は、VLSI設計などの産業的応用で一般的な複雑で大規模なグラフ（例：COLORおよびQueenデータセット）においても優れた性能を示した。