[論文レビュー] Coloring Big Graphs with AlphaGoZero

Jiayi Huang, Md. Mostofa Ali Patwary+1 more|arXiv (Cornell University)|Feb 26, 2019

Graph Theory and Algorithms参考文献 27被引用数 40

ひとこと要約

この論文はグラフ埋め込みを用いた AlphaGoZero を適応させ、グラフ彩色の高速でスケーラブルなヒューリスティックを学習する。最大数千万ノードに対応する FastColorNet を導入し、最先端の改善を達成する。

ABSTRACT

We show that recent innovations in deep reinforcement learning can effectively color very large graphs -- a well-known NP-hard problem with clear commercial applications. Because the Monte Carlo Tree Search with Upper Confidence Bound algorithm used in AlphaGoZero can improve the performance of a given heuristic, our approach allows deep neural networks trained using high performance computing (HPC) technologies to transform computation into improved heuristics with zero prior knowledge. Key to our approach is the introduction of a novel deep neural network architecture (FastColorNet) that has access to the full graph context and requires $O(V)$ time and space to color a graph with $V$ vertices, which enables scaling to very large graphs that arise in real applications like parallel computing, compilers, numerical solvers, and design automation, among others. As a result, we are able to learn new state of the art heuristics for graph coloring.

研究の動機と目的

• Prior knowledge なしでグラフ彩色ヒューリスティクスを学習する深層強化学習フレームワークを開発する。
• 大規模で多様なグラフを扱うために AlphaGoZero をグラフ埋め込みと共に適応させる。
• グラフ全体の文脈を用いた効率的な彩色のためのスケーラブルなニューラルネットワーク（FastColorNet）を構築する。
• 複数のグラフファミリに渡る最先端ヒューリスティクスとの改善を実証する。

提案手法

• グラフ彩色をマルコフ決定過程として定式化し、MCTS+UCB を用いた AlphaGoZero 型自己対局を適用する。
• 自己対局によって得られる解の色数に基づくゼロサム風の報酬を用いる。
• グラフ埋め込みと動的・サイズ適応出力を用いるスケーラブルなニューラルネットワーク FastColorNet を導入する。
• 回折バックプロパゲーションを縮小した、ルーピー型信念伝搬に触発したメッセージパッシングを介した学習転送関数によるグラフ埋め込みを実装する。
• データ並列トレーニングと探索木を手番間で再利用する MCTS を用いた高性能 HPC システムでトレーニングする。
• 自己対局をスケールさせるため、限定的な先読みと着手サンプリングを取り入れる。

実験結果

リサーチクエスチョン

• RQ1 AlphaGoZero 型の自己対局と MCTS は、ドメイン固有の事前知識なしに改善されたグラフ彩色ヒューリスティクスを学習できるか。
• RQ2 グラフ埋め込みとスケーラブルなネットワークアーキテクチャは、非常に大規模なグラフの彩色をいかに効率的に可能にするか。
• RQ3 自己対局の報酬設計が、効果的なグラフ彩色ヒューリスティクスの学習に与える影響は。
• RQ4 学習されたヒューリスティクスは、グラフファミリとサイズ間でどの程度一般化するか。

主な発見

データセット	ER-1K	WS-1K	ER-16K	WS-16K	ER-10M	WS-10M	SS-CIR	SS-LP	SS-Web	SS-FE
順序なし	34.3	59.2	732.8	265.35	42923	16415	4.2	4.25	3.75	4.85
順序付き	32.45	57.35	715.2	261.8	40347	15922	3.15	2.95	2.6	4.05
動的	32.2	57.15	708.5	261.2	37524	15843	3.55	3.15	2.7	4.25
FCN-訓練	29.58	52.5	660.19	237.03	35362	14924	3.0	2.95	2.4	3.75
FCN-テスト	31.7	56.59	702.57	258.3	37849	15023	3.1	2.95	2.55	4.1
FCN-生成	33.9	57.66	708.13	267.53	43415	17262	4.15	4.3	3.7	4.95

• FastColorNet は最先端の彩色ヒューリスティクスを最大約 10% の水準で改善する。
• このフレームワークは tens of millions のノードを持つグラフを、実践上線形時間の各頂点処理を達成して彩色できる。
• 自己対局を伴う MCTS+UCB による学習方針は、さまざまなグラフモデル（ER, WS）および現実的な SuiteSparse グラフで強力なヒューリスティクスへの収束を速める。
• 一般化: FCN-test は同領域の新しいグラフでヒューリスティクスの改善を示し、FCN-gen はランダムグラフでの利得を示すが、さらなる改善余地がある。
• 多様なグラフセットでのトレーニングはデータセット全体で一貫した性能向上をもたらす。
• このアプローチは HPC インフラストラクチャとスケールし、実用的な生産ツールとしての可能性を示す。