[논문 리뷰] Coloring Big Graphs with AlphaGoZero

Jiayi Huang, Md. Mostofa Ali Patwary외 1명|arXiv (Cornell University)|2019. 02. 26.

Graph Theory and Algorithms참고 문헌 27인용 수 40

한 줄 요약

본 논문은 그래프 임베딩을 이용해 AlphaGoZero를 응용하여 그래프 색칠을 위한 빠르고 확장 가능한 휴리스틱을 학습하고, 수천만 개의 노드까지 처리하는 그래프를 다루며 최신 성능 개선을 달성한다.

ABSTRACT

We show that recent innovations in deep reinforcement learning can effectively color very large graphs -- a well-known NP-hard problem with clear commercial applications. Because the Monte Carlo Tree Search with Upper Confidence Bound algorithm used in AlphaGoZero can improve the performance of a given heuristic, our approach allows deep neural networks trained using high performance computing (HPC) technologies to transform computation into improved heuristics with zero prior knowledge. Key to our approach is the introduction of a novel deep neural network architecture (FastColorNet) that has access to the full graph context and requires $O(V)$ time and space to color a graph with $V$ vertices, which enables scaling to very large graphs that arise in real applications like parallel computing, compilers, numerical solvers, and design automation, among others. As a result, we are able to learn new state of the art heuristics for graph coloring.

연구 동기 및 목표

• 사전 지식 없이 그래프 색칠 휴리스틱을 학습하기 위한 딥 강화학습 프레임워크를 개발한다.
• 대형이고 다양한 그래프를 다루기 위해 그래프 임베딩으로 AlphaGoZero를 적합화한다.
• 효율적인 색칠을 위한 전체 그래프 맥락을 갖춘 확장 가능한 신경망 FastColorNet을 만든다.
• 여러 그래프 계열에서 최첨단 휴리스틱 대비 개선을 입증한다.

제안 방법

• 그래프 색칠을 마르코프 결정 프로세스(MDP)로 형상화하고 AlphaGoZero식 자기학습과 MCTS+UCB를 적용한다.
• 자체 학습을 통해 얻은 해의 색의 수를 바탕으로 제로합과 유사한 보상을 사용한다.
• 그래프 임베딩을 사용하고 색상 동작에 대해 크기에 유연한 동적 출력을 가지는 확장 가능한 신경망 FastColorNet를 도입한다.
• 루프가 있는 신뢰전파에서 영감을 받은 메시지 전달과 잘려진 역전파를 통한 학습된 전달 함수를 사용하여 그래프 임베딩을 구현한다.
• 이동 간에 탐색 트리를 재사용하는 데이터 병렬 학습과 MCTS를 활용한 고성능 HPC 시스템으로 학습한다.
• 이동 간에 탐색 트리를 재사용하는 데이터 병렬 학습과 MCTS를 활용한 고성능 HPC 시스템으로 학습한다.
• 수백만 개의 노드가 있는 그래프까지 자기 학습을 확장하기 위해 제한된 사전 실행과 움직임 샘플링을 도입한다.

실험 결과

연구 질문

• RQ1 도메인 특화 사전 지식 없이도 AlphaGoZero식 자기 학습과 MCTS가 향상된 그래프 색칠 휴리스틱을 학습할 수 있는가?
• RQ2 그래프 임베딩과 확장 가능한 네트워크 아키텍처가 매우 큰 그래프의 효율적 색칠을 가능하게 하는 방법은 무엇인가?
• RQ3 자기 학습 보상 설계가 효과적인 그래프 색칠 휴리스틱 학습에 미치는 영향은 무엇인가?
• RQ4 학습된 휴리스틱은 그래프 계열과 크기에 걸쳐 얼마나 잘 일반화되는가?

주요 결과

데이터셋	ER-1K	WS-1K	ER-16K	WS-16K	ER-10M	WS-10M	SS-CIR	SS-LP	SS-Web	SS-FE
Unordered	34.3	59.2	732.8	265.35	42923	16415	4.2	4.25	3.75	4.85
Ordered	32.45	57.35	715.2	261.8	40347	15922	3.15	2.95	2.6	4.05
Dynamic	32.2	57.15	708.5	261.2	37524	15843	3.55	3.15	2.7	4.25
FCN-train	29.58	52.5	660.19	237.03	35362	14924	3.0	2.95	2.4	3.75
FCN-test	31.7	56.59	702.57	258.3	37849	15023	3.1	2.95	2.55	4.1
FCN-gen	33.9	57.66	708.13	267.53	43415	17262	4.15	4.3	3.7	4.95

• FastColorNet은 최첨단 색칠 휴리스틱을 최대 약 10%까지 개선한다.
• 프레임워크는 실제로 정점당 선형 시간 처리를 달성하여 수천만 개의 노드가 있는 그래프를 색칠할 수 있다.
• 자기 학습과 함께 MCTS+UCB를 통한 정책 학습은 다양한 그래프 모델(ER, WS)과 실제 SuiteSparse 그래프에서 강력한 휴리스틱으로의 수렴을 빠르게 이끈다.
• 일반화: FCN-test는 같은 도메인의 새로운 그래프에서 휴리스틱 대비 개선을 보여주고, FCN-gen은 무작위 그래프에서 이익을 시사하며 추가 개선 여지가 있다.
• 다양한 그래프 집합으로의 훈련은 데이터 세트 전반에 걸쳐 일관된 성능 향상을 이끈다.
• 이 접근 방식은 HPC 인프라와 함께 확장되며 생산 도구에 대한 실질적인 잠재력을 보여준다.