[論文レビュー] Approximation Ratios of Graph Neural Networks for Combinatorial Problems

Ryoma Sato, Makoto Yamada+1 more|arXiv (Cornell University)|May 24, 2019

Advanced Graph Neural Networks参考文献 29被引用数 16

ひとこと要約

この論文は、組合せ的グラフ問題をグラフニューラルネットワーク（GNN）を用いて近似するための最初の理論的枠組みを確立し、特に表現力が最も高いGNN—CPNGNN—が、最小支配集合問題に対して$(\Delta+1)$、最小頂点被覆問題に対して$2$の最適近似比を達成することを示している。GNNと分散型ローカルアルゴリズムを結びつけることで、弱彩色による特徴工学がこれらの比を改善することを証明し、事前処理が理論的にモデルの能力を向上させられることを示している。

ABSTRACT

In this paper, from a theoretical perspective, we study how powerful graph neural networks (GNNs) can be for learning approximation algorithms for combinatorial problems. To this end, we first establish a new class of GNNs that can solve a strictly wider variety of problems than existing GNNs. Then, we bridge the gap between GNN theory and the theory of distributed local algorithms. We theoretically demonstrate that the most powerful GNN can learn approximation algorithms for the minimum dominating set problem and the minimum vertex cover problem with some approximation ratios with the aid of the theory of distributed local algorithms. We also show that most of the existing GNNs such as GIN, GAT, GCN, and GraphSAGE cannot perform better than with these ratios. This paper is the first to elucidate approximation ratios of GNNs for combinatorial problems. Furthermore, we prove that adding coloring or weak-coloring to each node feature improves these approximation ratios. This indicates that preprocessing and feature engineering theoretically strengthen model capabilities.

研究の動機と目的

• GNNがNP困難な組合せ的グラフ問題をどの程度うまく近似できるかの理論的限界を確立すること。
• GNN理論と分散型ローカルアルゴリズム理論を橋渡しし、GNNの能力を形式的に分析可能にする。
• 表現力が最も高いGNNクラス（CPNGNN）を特定し、主な問題におけるその近似比を同定すること。
• 特に弱彩色を含むノード特徴工学がGNNの近似性能をどのように向上させるかを調査すること。

提案手法

• 従来のモデルより表現力が強いGNNの新クラスVV${}_{\text{C}}$-GNNを導入する。
• VV${}_{\text{C}}$-GNNと分散型ローカルアルゴリズムとの同値性を確立し、理論的分析を可能にする。
• 最強のGNNサブクラスとしてCPNGNNを提案し、最適な近似比を達成する。
• 一貫性のあるポート番号付けとノード特徴（次数、弱彩色／2彩色）を用いてGNNの表現力を向上させる。
• 既知の分散アルゴリズムの結果への還元を用いて近似比を分析する。
• さまざまな特徴設定下での達成可能な近似比の下界を証明する。

実験結果

リサーチクエスチョン

• RQ1 GNNがNP困難な組合せ的グラフ問題を近似できる理論的上限近似比は何か？
• RQ2 GNNはグラフ問題を解く際、分散型ローカルアルゴリズムと比べてどのように異なるか？
• RQ3 弱彩色のような特徴工学がGNNの近似能力を向上させられるか？
• RQ4 最適な近似比に到達するための最小限の特徴セットは何か？
• RQ5 GNNは最大マッチング問題を解けるか？ もしそうなら、どの程度の近似比で解けるか？

主な発見

• CPNGNNは最小支配集合問題に対して$(\Delta+1)$-近似を達成し、GNNの中で最適である。
• CPNGNNは最小頂点被覆問題に対して$2$-近似を達成し、最もよく知られた貪欲法と同等の性能を示す。
• 弱$2$-彩色をノード特徴として用いることで、CPNGNNは最小支配集合の近似比を$(\frac{\Delta+1}{2})$に改善できる。
• 最大マッチング問題において、CPNGNNは弱$2$-彩色特徴を用いて$(\frac{\Delta+1}{2})$-近似を達成する。
• 弱$2$-彩色の代わりに$2$-彩色を使用すると、CPNGNNは二部グラフ上では最大マッチングに対して任意の近似比$\alpha > 1$を達成可能であるが、その限りでない。
• GNNの代表例であるGIN, GAT, GCN, GraphSAGEは、頂点被覆問題で$2$-近似を上回れず、支配集合問題で$(\Delta+1)$-近似を上回れない。