[논문 리뷰] Exact Combinatorial Optimization with Graph Convolutional Neural Networks

Maxime Gasse, Didier Chételat외 3명|arXiv (Cornell University)|2019. 06. 04.

Advanced Graph Neural Networks참고 문헌 30인용 수 224

한 줄 요약

이 논문은 그래프 컨볼루션 신경망을 통해 MILP에 대한 가지치기-본선 변수 선택 정책을 강한 분기(strong branching)를 모방하여 학습시키고, 기존 ML 방법 및 SCIP의 기본 규칙에 비해 우수한 성능과 일반화를 달성한다.

ABSTRACT

Combinatorial optimization problems are typically tackled by the branch-and-bound paradigm. We propose a new graph convolutional neural network model for learning branch-and-bound variable selection policies, which leverages the natural variable-constraint bipartite graph representation of mixed-integer linear programs. We train our model via imitation learning from the strong branching expert rule, and demonstrate on a series of hard problems that our approach produces policies that improve upon state-of-the-art machine-learning methods for branching and generalize to instances significantly larger than seen during training. Moreover, we improve for the first time over expert-designed branching rules implemented in a state-of-the-art solver on large problems. Code for reproducing all the experiments can be found at https://github.com/ds4dm/learn2branch.

연구 동기 및 목표

• MILPs의 가지치기-본선에서 트리 크기와 해결 시간을 줄이기 위한 개선된 브랜칭 규칙 학습 동기화.
• 특징 엔지니어링을 최소화하기 위한 자연스러운 MILP 변수-제약 이진 그래프의 활용.
• 강한 분기 결정들을 모방하기 위한 imitation-learning 정책 학습.
• 학습에 사용된 인스턴스보다 큰 인스턴스로 일반화하고 최첨단 baselines 및 SCIP의 기본 규칙과 비교를 보임.

제안 방법

• MILP 제약 및 변수 간의 이진 그래프로 B&B 상태를 표현하고 학습된 노드/간 특징을 사용한다.
• 상태를 (G, C, E, V)로 인코딩하고 변수와 제약 간 정보를 전파하기 위해 2-phase bipartite graph convolution을 사용한다.
• 그래프 컨볼루셔널 신경망(GCNN)을 이용해 분할 정책을 매개화하고 마스크된 소프트맥스(masked softmax)를 통해 부분적인 변수에 대한 확률 분포를 출력한다.
• 정책은 cross-entropy 손실을 사용하여 강한 분깅 전문가에 대해 imitation learning(behavioral cloning)으로 학습한다.
• liernorm( prenormalization, prenorm) 을 도입하여 unnormalized GCNNs의 안정화를 도모하고 더 큰 문제들에 대한 일반화를 개선한다.

실험 결과

연구 질문

• RQ1 MILP 변수-제약 이진 그래프 위에서 작동하는 GCNN이 효과적인 브랜칭 결정을 학습할 수 있는가?
• RQ2 학습 중에 본 보았던 MILP 인스턴스보다 큰 인스턴스로 일반화되는가?
• RQ3 GCNN 기반 브랜칭이 전통적인 휴리스틱 및 다른 ML 기반 브랜칭 방법과 다양한 NP-hard MILP 문제에서 어떻게 비교되는가?
• RQ4 일반화 및 해결 효율성에 영향을 미치는 아키텍처 선택(예: prenorm이 있는 비정규화 합성)들은 무엇인가?

주요 결과

• GCNN 기반의 분기 정책이 대부분의 벤치마크에서 기본 ML 접근법(trees, svmrank, lmart) 및 SCIP의 기본 rpb를 능가한다.
• 학습된 정책이 학습에 사용된 인스턴스보다 큰 인스턴스로 일반화하고, 종종 baselines에 비해 해결 시간과 노드 수를 감소시킨다.
• 여러 벤치마크에서 GCNN은 최첨단 인간 설계 및 ML 기반 규칙보다 더 빠른 해결 시간과 더 적은 B&B 노드를 달성하지만 문제 클래스에 따라 결과가 달라진다.
• 강한 분깅 전문가의 속도는 실용적이지 않지만, GCNN은 경쟁력 있는 성능으로 실용적 대안을 제공한다.
• 제안된 prenorm 방식과 비정규화 합성으로 구성된 ablation 연구는 특히 더 큰 인스턴스에서 더 나은 성능을 보인다.