[论文解读] Coloring Big Graphs with AlphaGoZero

Jiayi Huang, Md. Mostofa Ali Patwary+1 more|arXiv (Cornell University)|Feb 26, 2019

Graph Theory and Algorithms参考文献 27被引用 40

一句话总结

本论文将 AlphaGoZero 与图嵌入相结合，以学习快速、可扩展的图着色启发式算法，提出 FastColorNet，能够处理多达数千万节点的图，并实现了最先进的改进。

ABSTRACT

We show that recent innovations in deep reinforcement learning can effectively color very large graphs -- a well-known NP-hard problem with clear commercial applications. Because the Monte Carlo Tree Search with Upper Confidence Bound algorithm used in AlphaGoZero can improve the performance of a given heuristic, our approach allows deep neural networks trained using high performance computing (HPC) technologies to transform computation into improved heuristics with zero prior knowledge. Key to our approach is the introduction of a novel deep neural network architecture (FastColorNet) that has access to the full graph context and requires $O(V)$ time and space to color a graph with $V$ vertices, which enables scaling to very large graphs that arise in real applications like parallel computing, compilers, numerical solvers, and design automation, among others. As a result, we are able to learn new state of the art heuristics for graph coloring.

研究动机与目标

• 开发一个深度强化学习框架，在没有先验知识的情况下学习图着色启发式方法。
• 将 AlphaGoZero 与图嵌入相结合，以处理大规模、多样化的图。
• 创建一个可扩展的神经网络（FastColorNet），具备对整个图的上下文信息以实现高效着色。
• 在多种图族中展示相对于现有最先进启发式方法的改进。

提出的方法

• 将图着色形式化为马尔可夫决策过程，并应用 AlphaGoZero 风格的自对弈，结合 MCTS+UCB。
• 使用基于自对弈得到解所用颜色数量的近似零和奖励。
• 引入 FastColorNet，一种可扩展的神经网络，使用图嵌入并对颜色行动输出具备动态、规模自适应的能力。
• 通过一个学习得到的传递函数实现图嵌入，基于受回路影响的消息传递、受截断反向传播约束的信念传播启发。
• 在高性能 HPC 系统上使用数据并行训练和在多步之间重用搜索树的 MCTS 进行训练。
• 引入有限向前评估和着法采样，以将自对弈扩展到拥有数百万节点的图。

实验结果

研究问题

• RQ1 可以通过 AlphaGoZero 风格的自对弈和 MCTS 在没有领域先验知识的情况下学习到更好的图着色启发式吗？
• RQ2 图嵌入和可扩展网络架构如何使得对极大规模图的着色变得高效？
• RQ3 自对弈奖励设计对学习有效图着色启发式有何影响？
• RQ4 学习得到的启发式方法在不同图族和规模上的泛化能力如何？

主要发现

数据集	ER-1K	WS-1K	ER-16K	WS-16K	ER-10M	WS-10M	SS-CIR	SS-LP	SS-Web	SS-FE
Unordered	34.3	59.2	732.8	265.35	42923	16415	4.2	4.25	3.75	4.85
Ordered	32.45	57.35	715.2	261.8	40347	15922	3.15	2.95	2.6	4.05
Dynamic	32.2	57.15	708.5	261.2	37524	15843	3.55	3.15	2.7	4.25
FCN-train	29.58	52.5	660.19	237.03	35362	14924	3.0	2.95	2.4	3.75
FCN-test	31.7	56.59	702.57	258.3	37849	15023	3.1	2.95	2.55	4.1
FCN-gen	33.9	57.66	708.13	267.53	43415	17262	4.15	4.3	3.7	4.95

• FastColorNet 将现有最先进的着色启发式方法改进幅度约为 10% 左右。
• 该框架可对拥有数千万节点的图进行着色，实际实现中达到逐顶点线性时间处理。
• 通过 MCTS+UCB 的自对弈学习策略，在不同图模型（ER、WS）及真实世界的 SuiteSparse 图上实现对强启发式的更快收敛。
• 泛化性：FCN-test 显示在同一领域的新图上相对于启发式方法有改进，FCN-gen 在随机图上也表现出提升，但还有进一步改进空间。
• 在多样化图集合上的训练带来跨数据集的一致性能提升。
• 该方法可在 HPC 基础设施上扩展，并展示出成为生产工具的实际潜力。