[논문 리뷰] Graph Neural Networks for Maximum Constraint Satisfaction

Jan Toenshoff, Martin Ritzert외 2명|arXiv (Cornell University)|2019. 09. 18.

Constraint Satisfaction and Optimization참고 문헌 39인용 수 8

한 줄 요약

이 논문은 모든 이진 CSP에 적용 가능한 일반적이고 비지도 그래프 신경망(GNN) 아키텍처를 제안한다. 이 모델은 작은 인스턴스에서 훈련되며, 훨씬 더 큰 인스턴스로 효과적으로 일반화되어, 탐욕 알고리즘과 준선형계획법 방법과 비슷하거나 그 이상의 성능을 기록하며, Maximum Cut 및 Maximum Independent Set와 같은 문제들에서는 때로는 최신 휴리스틱 기법을 초월한다.

ABSTRACT

Many combinatorial optimization problems can be phrased in the language of constraint satisfaction problems. We introduce a graph neural network architecture for solving such optimization problems. The architecture is generic; it works for all binary constraint satisfaction problems. Training is unsupervised, and it is sufficient to train on relatively small instances; the resulting networks perform well on much larger instances (at least 10-times larger). We experimentally evaluate our approach for a variety of problems, including Maximum Cut and Maximum Independent Set. Despite being generic, we show that our approach matches or surpasses most greedy and semi-definite programming based algorithms and sometimes even outperforms state-of-the-art heuristics for the specific problems.

연구 동기 및 목표

• 다양한 조합 최적화 작업 전반에 걸쳐 최대 제약 만족 문제(Max-CSP)를 해결하기 위한 일반적인 딥러닝 접근법을 개발하는 것.
• 기존 방법의 확장성 한계를 극복하기 위해 작은 훈련 인스턴스에서 큰 테스트 인스턴스로의 일반화를 가능하게 하는 것.
• 각 문제 인스턴스에 대해 비용이 많이 드는 레이블이 붙은 솔루션에 의존하지 않는 비지도 훈련 프레임워크를 설계하는 것.
• Standard NP-hard 문제들인 Maximum Cut 및 Maximum Independent Set와 같은 문제들에 대해 방법을 평가하는 것.
• GNN의 성능을 기존의 휴리스틱 기법, 탐욕 알고리즘, 준선형계획법 접근법과 비교하는 것.

제안 방법

• 이 방법은 변수를 노드로, 그들 간의 제약을 간선으로 표현하는 그래프로 제약 만족 인스턴스를 처리할 수 있도록 설계된 그래프 신경망 아키텍처를 사용한다.
• 메시지 전달 메커니즘을 통해 이웃 정보를 기반으로 노드 표현을 반복적으로 갱신함으로써, 구조적 및 제약 의존성을 포착한다.
• 지표가 없는 할당 없이도 backpropagation이 가능하도록, Max-CSP 목적함수의 미분 가능한 완화를 사용하여 비지도 방식으로 훈련을 수행한다.
• 모델은 다양한 Max-CSP 문제의 작은 인스턴스에서 미리 훈련하고, 재훈련 없이 큰 인스턴스에 대해 피니튜닝하거나 직접 적용한다.
• 예측 과정은 최종 노드 표현을 제약 만족 수를 최대화하는 변수 할당으로 디코딩하는 것으로 구성된다.
• 아키텍처는 노드 순열에 대해 불변이며, 다양한 문제 크기와 구조로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 특정 문제에 맞게 설계하지 않고도, 단일의 일반적인 GNN 아키텍처가 이진 Max-CSP 문제의 광범위한 클래스를 효과적으로 해결할 수 있는가?
• RQ2 작은 인스턴스에서의 비지도 훈련이 훨씬 더 큰 Max-CSP 인스턴스로의 일반화를 가능하게 하는가?
• RQ3 제안된 GNN의 성능는 기존의 휴리스틱 기법과 완화 기반 방법(예: 탐욕 알고리즘, 준선형계획법)과 비교해 어떻게 되는가?
• RQ4 특정 Max-CSP 문제들, 예를 들어 Maximum Cut 및 Maximum Independent Set에 대해 특화된 휴리스틱 기법을 초월할 수 있는가?
• RQ5 모델의 성능가 훈련 인스턴스의 크기와 구조에 얼마나 의존하는가?

주요 결과

• 제안된 GNN 아키텍처는 작은 훈련 인스턴스에서 시작해 최소 10배 이상 큰 인스턴스로 효과적으로 일반화되며, 강력한 제로샷 일반화 성능을 보였다.
• Maximum Cut 및 Maximum Independent Set 문제에서 준선형계획법 완화 기법과 비슷하거나 그 이상의 성능를 기록했다.
• Maximum Independent Set 문제에서는 여러 잘 알려진 탐욕 휴리스틱 기법을 뛰어나며, 최신 휴리스틱 기반 베이스라인과 비슷하거나 그 이상의 성능를 기록했다.
• 비지도 훈련 방식은 레이블이 붙은 솔루션에 대한 의존도를 줄여 효과적인 학습을 가능하게 하였다.
• 재훈련 없이도 다양한 문제 구조에서 뛰어난 성능를 유지하며, 더 큰 그래프로의 확장성도 효율적으로 유지하였다.
• GNN의 성능는 여러 Max-CSP 문제에서 뛰어나며, 이는 이진 제약 만족 문제에 대한 일반적인 적용 가능성을 확인한다.