[論文レビュー] Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search

Zhuwen Li, Qifeng Chen+1 more|arXiv (Cornell University)|Oct 25, 2018

Advanced Graph Neural Networks参考文献 25被引用数 216

ひとこと要約

本論文は、グラフ畳み込みネットワークを用いてNP困難問題における頂点の含入確率を予測する学習ベースのアプローチを提案し、多様性を備えた木探索と古典的ヒューリスティクスを組み合わせて、複数の候補解を生成・洗練させる。

ABSTRACT

We present a learning-based approach to computing solutions for certain NP-hard problems. Our approach combines deep learning techniques with useful algorithmic elements from classic heuristics. The central component is a graph convolutional network that is trained to estimate the likelihood, for each vertex in a graph, of whether this vertex is part of the optimal solution. The network is designed and trained to synthesize a diverse set of solutions, which enables rapid exploration of the solution space via tree search. The presented approach is evaluated on four canonical NP-hard problems and five datasets, which include benchmark satisfiability problems and real social network graphs with up to a hundred thousand nodes. Experimental results demonstrate that the presented approach substantially outperforms recent deep learning work, and performs on par with highly optimized state-of-the-art heuristic solvers for some NP-hard problems. Experiments indicate that our approach generalizes across datasets, and scales to graphs that are orders of magnitude larger than those used during training.

研究の動機と目的

• 深層学習とヒューリスティックなアルゴリズム手法を組み合わせて、NP困難問題の解決を促進する。
• 最適解に含まれる頂点である可能性を予測するグラフ畳み込みネットワークを提案する。
• 多峰性の解空間を探索するための多様な解の合成を可能にする。
• GCNの予測を幅優先・並列な木探索と統合して、複数の候補解を生成・洗練させる。
• データセットとグラフサイズ全体にわたる一般化とスケーラビリティを示す。

提案手法

• NP困難問題（MIS、MVC、MC、SAT）をMISインスタンスとして表現し、グラフ畳み込みネットワークを用いて頂点ごとの確率を学習する。
• グラフ畳み込みネットワーク f(G;θ) を訓練して頂点全体の確率マップを出力させる。最終層でシグmoidを用い、監督学習には二項交差エントロピー損失を適用する。
• 多峰性に対処するため、各グラフに対してM個の多様な確率マップを生成し、多様解学習目的（ hindsight loss）を用いる。
• このM個のマップを用いて、未完成の解を多数の完結な候補解へ展開する幅優先・並列の木探索を開始する。
• 2-改善局所探索で候補解を洗練し、処理速度を高めるためにグラフ簡約を適用する。
• SAT、MIS、MVC、MCのベンチマークで、SOTAの深層学習ベースライン、SMT/MIPソルバ、古典的ヒューリスティクスと評価・比較する。

実験結果

リサーチクエスチョン

• RQ1 合成データで訓練した場合、複数のNP困難問題において最適解への頂点参加可能性をGCNが予測できるか？
• RQ2 多様な解マップを生成することは解空間の探索を改善し、最終解の品質を向上させるか？
• RQ3 提案手法は、サイズ・構造が異なるベンチマークに対して、強力な従来ソルバや近年の深層学習手法とどう比較されるか？
• RQ4 手法はデータセット間で一般化し、最大約10万ノードのグラフへスケールするか？
• RQ5 設計選択（多様性損失、木探索戦略、局所探索）の性能への影響はどのようか？

主な発見

• この手法は全てのSATLIBのテストインスタンスを解き、SATベンチマークでSOTAのSMT/MISソルバに匹敵する。
• SAT Competition 2017では、本手法は全インスタンスを解き、いくつかのベースラインを上回る。
• BUAA-MCではMCインスタンスの62.5%を解き、MISとMVCでベースラインを上回る。
• SNAPのソーシャルネットワーク・引用グラフ全体で、ほとんどのベースラインを上回り、MISとMVCではReduMISと同等またはそれを上回る。
• モデルは合成SATグラフから実世界のネットワークへ一般化し、訓練データの10倍程度の規模のグラフへスケールする。