[논문 리뷰] Solving NP-Hard Problems on Graphs by Reinforcement Learning without Domain Knowledge.

Kenshin Abe, Zijian Xu외 2명|arXiv (Cornell University)|2019. 05. 28.

Advanced Graph Neural Networks참고 문헌 2인용 수 21

한 줄 요약

이 논문은 도메인 지식 없이 NP-난이도 그래프 문제를 해결하기 위한 강화학습 프레임워크를 제안한다. 이는 알파고 제로의 자가대전과 트리 탐색을 영감으로 삼았다. 연속 보상에 적응시킨 딥 Q-러닝을 그래프 이sov미터리 네트워크와 통합함으로써, 다섯 가지 NP-난이도 문제에서 기존의 S2V-DQN보다 뛰어난 일반화 성능을 달성하였다.

ABSTRACT

There have been increasing challenges to solve combinatorial optimization problems by machine learning. Khalil et al. proposed an end-to-end reinforcement learning framework, S2V-DQN, which automatically learns graph embeddings to construct solutions to a wide range of problems. To improve the generalization ability of their Q-learning method, we propose a novel learning strategy based on AlphaGo Zero which is a Go engine that achieved a superhuman level without the domain knowledge of the game. Our framework is redesigned for combinatorial problems, where the final reward might take any real number instead of a binary response, win/lose. In experiments conducted for five kinds of NP-hard problems including {\sc MinimumVertexCover} and {\sc MaxCut}, our method is shown to generalize better to various graphs than S2V-DQN. Furthermore, our method can be combined with recently-developed graph neural network (GNN) models such as the \emph{Graph Isomorphism Network}, resulting in even better performance. This experiment also gives an interesting insight into a suitable choice of GNN models for each task.

연구 동기 및 목표

• 수작업 특징 또는 도메인 전용 규칙에 의존하지 않고 다양한 NP-난이도 조합 최적화 문제를 그래프에서 해결하는 데 도전한다.
• 자기대전과 몬테카를로 트리 탐색을 연속 보상 설정에 적응시켜 다양한 그래프 구조 간의 일반화 능력을 향상시킨다.
• 최신 그래프 신경망, 예를 들어 그래프 이sov미터리 네트워크(GIN)와 통합하여 표현 학습과 해 품질을 향상시킨다.
• 다양한 최적화 작업에서 다른 GNN 아키텍처의 영향을 조사한다.

제안 방법

• 해 품질을 반영하는 연속 실수 보상으로 이진 보상을 대체함으로써, 알파고 제로 프레임워크를 조합 최적화에 적응시킨다.
• 딥 Q-러닝 에이전트를 사용하여 가치 함수 근사 기반 신경망을 활용해 반복적으로 그래프의 노드 또는 간선을 선택하여 해를 구성한다.
• 인간의 예시나 도메인 전용 보상 형상 조정 없이, 자가대전 훈련과 몬테카를로 트리 탐색을 통해 탐색과 정책 개선을 이끈다.
• 표현력 있는 순열 동치 그래프 표현을 학습하기 위해 그래프 이sov미터리 네트워크(GIN)를 백본 신경망으로 사용한다.
• 해 구성 과정 동안 누적 보상을 최적화하는 방식으로, 정책 기반 경량 업데이트를 통해 에이전트를 종합적으로 훈련시킨다.
• 훈련 중에 점진적으로 그래프 복잡도를 높이는 커리큘럼 학습을 적용하여 수렴성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 도메인 지식 없이 훈련된 강화학습 프레임워크가 다양한 NP-난이도 그래프 문제에 대해 일반화할 수 있는가?
• RQ2 알파고 제로의 자가대전과 트리 탐색을 연속 보상 설정에 적응시킬 경우 조합 최적화에서 해 품질에 어떤 영향을 미치는가?
• RQ3 그래프 이sov미터리 네트워크를 사용할 경우 제안된 방법의 성능과 일반화 능력에 어떤 영향을 미치는가?
• RQ4 GNN 아키텍처의 선택이 다양한 최적화 작업에서 해 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 다양한 그래프 유형에서 최소 정점 커버 및 맥스컷을 포함한 다섯 가지 NP-난이도 문제에서 S2V-DQN보다 훨씬 뛰어난 일반화 성능을 보였다.
• 강화학습 프레임워크에 그래프 이sov미터리 네트워크를 통합함으로써 다른 GNN 변종 대비 더 뛰어난 해 품질을 달성하였다.
• 도메인 전용 보상 형상 조정이나 인간이 설계한 특징을 사용하지 않아도, 모든 테스트 문제에서 경쟁력 있거나 뛰어난 해 품질을 달성하였다.
• 제거 실험을 통해 자가대전과 연속 보상 학습의 조합이 일반화 능력과 수렴 속도를 향상시킨다는 것이 확인되었다.