[논문 리뷰] Combinatorial Optimization with Graph Convolutional Networks and Guided Tree Search

Zhuwen Li, Qifeng Chen외 1명|arXiv (Cornell University)|2018. 10. 25.

Advanced Graph Neural Networks참고 문헌 25인용 수 216

한 줄 요약

이 논문은 NP-하드 문제를 예측하기 위해 그래프 컨볼루션 네트워크를 활용하는 학습 기반 접근법을 제시하고, 다양성-가능한 트리 탐색 및 고전 휴리스틱 기법을 결합하여 다수의 후보 해를 생성하고 refine합니다.

ABSTRACT

We present a learning-based approach to computing solutions for certain NP-hard problems. Our approach combines deep learning techniques with useful algorithmic elements from classic heuristics. The central component is a graph convolutional network that is trained to estimate the likelihood, for each vertex in a graph, of whether this vertex is part of the optimal solution. The network is designed and trained to synthesize a diverse set of solutions, which enables rapid exploration of the solution space via tree search. The presented approach is evaluated on four canonical NP-hard problems and five datasets, which include benchmark satisfiability problems and real social network graphs with up to a hundred thousand nodes. Experimental results demonstrate that the presented approach substantially outperforms recent deep learning work, and performs on par with highly optimized state-of-the-art heuristic solvers for some NP-hard problems. Experiments indicate that our approach generalizes across datasets, and scales to graphs that are orders of magnitude larger than those used during training.

연구 동기 및 목표

• 심층 학습과 휴리스틱 알고리즘 기법의 결합으로 NP-하드 문제 해결 동기를 제시한다.
• 최적 해에 포함될 가능성이 있는 정점의 확률을 예측하는 그래프 컨볼루션 네트워크를 제안한다.
• 다양한 해 공간을 탐색하기 위한 다양한 해 솔루션 생성을 가능하게 한다.
• GCN 예측과 폭 BFS 병렬 트리 탐색을 통합하여 다수의 후보 해를 생성하고 refine한다.
• 데이터셋과 그래프 크기에 따른 일반화 및 확장성의 검증을 수행한다.

제안 방법

• MIS, MVC, MC, SAT와 같은 NP-하드 문제를 MIS 인스턴스로 표현하고 정점별 가능성을 예측하는 그래프 컨볼루션 네트워크를 학습시킨다.
• GCN f(G;θ)가 정점에 대한 확률 맵을 출력하도록 학습하되, 최종 층에서 시그모이드를 적용하고 감독 학습을 위한 이진 교차 엔트로피 손실을 사용한다.
• 멀티모달리티를 다루기 위해 각 그래프에 대해 다양성 손실(hindsight loss)으로 M개의 다양한 확률 맵을 생성한다.
• 이 M개의 맵을 이용해 브레드쓰-퍼스트 병렬 트리 탐색을 시드화하고 불완전한 해를 다수의 완성 후보로 확장한다.
• 2회 개선 로컬 탐색으로 후보 해를 다듬고 그래프 축소를 적용해 처리 속도를 높인다.
• SAT, MIS, MVC, MC 벤치마크에서 SOTA 딥러닝 기반 기법, SMT/MIP 솔버, 그리고 고전 휴리스틱과의 비교 평가를 수행한다.

실험 결과

연구 질문

• RQ1 학습 데이터로 훈련되었을 때, GCN이 여러 NP-하드 문제에서 최적 해에 참여하는 정점의 가능성을 예측할 수 있는가?
• RQ2 다양한 해 맵을 생성하는 것이 해 공간의 탐색을 개선하고 최종 해의 품질을 향상시키는가?
• RQ3 제안된 접근 방식은 크기와 구조가 다른 벤치마크에서 강력한 전통적 솔버 및 최근 딥러닝 방법과 비교하여 어떤 수준의 성능을 보이는가?
• RQ4 데이터셋 간 일반화가 가능하며 약 100k 노드 규모의 그래프까지 확장 가능한가?
• RQ5 다양성 손실, 트리 탐색 전략, 로컬 탐색의 설계 선택이 성능에 어떤 영향을 미치는가?

주요 결과

• 본 접근법은 SATLIB 테스트 인스턴스의 모든 문제를 해결하고 SAT 벤치마크에서 상태-of-the-art SMT/MIS 솔버에 견줄 만한 성능을 보인다.
• SAT Competition 2017에서 100%의 인스턴스를 해결하며 여러 베이스라인보다 우수한 성능을 보여준다.
• BUAA-MC에서 MC 인스턴스의 62.5%를 해결하고 MIS 및 MVC에서 베이스라인보다 우수한 성능을 보인다.
• SNAP 소셜 네트워크 및 인용 그래프 전반에서 대부분의 베이스라인을 상회하고 MIS 및 MVC에서 ReduMIS와 유사하거나 더 높은 성능을 보인다.
• 모형은 합성 SAT 그래프에서 실제 네트워크로 일반화되며 학습 데이터보다 한 차원 큰 그래프에서도 확장 가능하다.