[논문 리뷰] Solving NP-Hard Problems on Graphs with Extended AlphaGo Zero

Kenshin Abe, Zijian Xu외 2명|arXiv (Cornell University)|2019. 05. 28.

Reinforcement Learning in Robotics참고 문헌 32인용 수 20

한 줄 요약

이 논문은 AlphaGo Zero를 영감으로 삼아 NP-난이도 그래프 문제를 이전 방법들보다 더 효과적으로 해결하기 위한 강화학습 프레임워크인 CombOpt Zero를 제안한다. Q-학습 대신 몬테카를로 트리 탐색(MCTS)을 사용하고, 무작위 샘플링을 통한 보상 정규화를 통해 다양한 그래프 유형에서 뛰어난 일반화 성능과 더불어 샘플 효율성을 확보하였다. 이는 MaxCut 및 최소 정점 커버 문제에서 S2V-DQN를 능가한다.

ABSTRACT

There have been increasing challenges to solve combinatorial optimization problems by machine learning. Khalil et al. proposed an end-to-end reinforcement learning framework, S2V-DQN, which automatically learns graph embeddings to construct solutions to a wide range of problems. To improve the generalization ability of their Q-learning method, we propose a novel learning strategy based on AlphaGo Zero which is a Go engine that achieved a superhuman level without the domain knowledge of the game. Our framework is redesigned for combinatorial problems, where the final reward might take any real number instead of a binary response, win/lose. In experiments conducted for five kinds of NP-hard problems including {\sc MinimumVertexCover} and {\sc MaxCut}, our method is shown to generalize better to various graphs than S2V-DQN. Furthermore, our method can be combined with recently-developed graph neural network (GNN) models such as the \emph{Graph Isomorphism Network}, resulting in even better performance. This experiment also gives an interesting insight into a suitable choice of GNN models for each task.

연구 동기 및 목표

• Q-학습의 탐색 한계로 인해 다양한 구조(예: 실생활 그래프 대비 합성 그래프)에서 일반화 성능이 열 劣한 S2V-DQN 문제를 해결하기 위해.
• 이산 최적화 문제에 대해 이진 승패 결과 외의 연속형 또는 실수형 보상이 존재하는 상황에서도 AlphaGo Zero의 MCTS 기반 학습을 확장하기 위해.
• 학습 및 추론 과정에서 자가대전과 트리 탐색을 활용하여 NP-난이도 그래프 문제의 샘플 효율성과 해 품질을 향상시키기 위해.
• 현대적인 그래프 신경망(GNN) 아키텍처(예: 그래프 이sov머피즘 네트워크)와의 호환성을 조사하기 위해.
• 랜덤 그래프에서 학습함으로써 트리에서 MaxCut에 대해 깊이 우선 탐색 유사 색칠 전략과 같은 문제 특화 히ュ리스틱을 효과적으로 학습할 수 있는지 검증하기 위해.

제안 방법

• S2V-DQN의 Q-학습을 AlphaGo Zero 기반의 새로운 학습 전략으로 대체하여, 자가대전 트레이젝터리를 생성하기 위해 몬테카를로 트리 탐색(MCTS)을 사용한다.
• 실수형 보상을 무작위 샘플링을 통해 정규화하여, AlphaGo Zero의 이진 승패 프레임워크를 이산 최적화에서 흔히 발생하는 연속형 보상 환경에 적응시킨다.
• 상태를 선택된 동작(예: 노드 색칠 또는 선택)에 의해 변화하는 현재 레이블이 부여된 그래프로 정의하며, 상태 전이를 문제 제약 조건에 따라 유도한다.
• 현재 그래프 상태를 임bedding하기 위해 GNN(예: S2V 또는 그래프 이sov머피즘 네트워크)를 사용하고, 동작 확률과 가치 추정치를 예측한다.
• 최종 보상 기반의 정책 손실과 가치 손실을 이용해 자가대전과 MCTS 롤아웃을 통해 정책 및 가치 네트워크를 학습시킨다.
• 추론 시 MCTS를 활성화하여 특정 문제에서 더 나은 성능을 보장하고 해 품질을 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 MCTS 기반 학습이 S2V-DQN와 같은 Q-학습 기반 방법보다 다양한 미관측 그래프 유형에 대해 더 뛰어난 일반화 성능을 보일 수 있는가?
• RQ2 실수형 보상의 정규화가 이산 최적화 문제에서 AlphaGo Zero 스타일 학습의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 고급 GNN(예: 그래프 이sov머피즘 네트워크)과 결합했을 때 CombOpt Zero의 해 품질과 일반화 성능 향상 정도는 어느 정도인가?
• RQ4 랜덤 그래프에서의 자가대전을 통해 프레임워크가 문제 특화 히ュ리스틱(예: 트리에서 MaxCut에 대한 깊이 우선 색칠 전략)을 암묵적으로 학습하는가?
• RQ5 동일한 하드웨어 및 시간 예산에서 CombOpt Zero의 샘플 효율성은 S2V-DQN보다 어떻게 비교되는가?

주요 결과

• MCTS를 통한 탐색 강화 덕분에, Erdős–Rényi, Barabási–Albert 및 실생활 그래프를 포함한 다양한 그래프 유형에서 S2V-DQN보다 훨씬 뛰어난 일반화 성능을 보였다.
• 4개의 GPU에서 2시간 동안 약 5,000개의 트레이젝터리만 생성했음에도 불구하고, 약 2,000개의 데이터 샘플로 수렴했으며, 이는 S2V-DQN가 약 50,000개 샘플이 필요로 했던 것과 비교해 매우 높은 샘플 효율성을 보였다.
• MaxCut 문제에서는 최신 히ュ리스틱 솔버와 유사한 성능를 달성했으며, 특히 트리에서 깊이 우선 탐색 유사 이중 색칠 전략을 학습하여 뛰어난 성능를 보였다.
• CombOpt Zero의 MCTS 추론은 특정 문제에서 해 품질을 크게 향상시켜, 탐욕적 추론보다 더 나은 결과를 보장하였다.
• CombOpt Zero를 그래프 이sov머피즘 네트워크와 조합함으로써 성능 향상이 뚜렷하게 나타났으며, 이는 특정 작업에 대해 GNN 아키텍처 선택의 중요성을 시사한다.
• 시각화 결과, CombOpt Zero가 이웃 노드를 번갈아가며 색칠하고, 장거리 메시지 전파(5호프 수신장)를 활용해 이웃 노드를 건너뛸 수 있음을 확인하여, 적응적이고도 융통성 있는 전략 학습 능력을 보였다.