[논문 리뷰] Learning to Compare Nodes in Branch and Bound with Graph Neural Networks

Abdel Ghani Labassi, Didier Chételat외 1명|arXiv (Cornell University)|2022. 10. 30.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

이 논문은 혼합정수선형계획 문제를 위한 분기결정법 솔버에서 노드 비교를 학습하기 위해 시아모이즈 그래프 신경망(GNN)을 제안한다. 노드는 소유된 이분 그래프로 표현되며, 암시 학습을 통해 도약 오라클의 행동을 모방하도록 훈련된다. 이 GNN은 이전의 기계학습 방법과 SCIP의 기본 노드 선택 전략을 초월하여 원시적으로 어려운 NP-완전 기준에서 성능을 냉각시키며, 훈련된 인스턴스보다 큰 인스턴스로의 일반화도 가능하다.

ABSTRACT

Branch-and-bound approaches in integer programming require ordering portions of the space to explore next, a problem known as node comparison. We propose a new siamese graph neural network model to tackle this problem, where the nodes are represented as bipartite graphs with attributes. Similar to prior work, we train our model to imitate a diving oracle that plunges towards the optimal solution. We evaluate our method by solving the instances in a plain framework where the nodes are explored according to their rank. On three NP-hard benchmarks chosen to be particularly primal-difficult, our approach leads to faster solving and smaller branch- and-bound trees than the default ranking function of the open-source solver SCIP, as well as competing machine learning methods. Moreover, these results generalize to instances larger than used for training. Code for reproducing the experiments can be found at https://github.com/ds4dm/learn2comparenodes.

연구 동기 및 목표

• 혼합정수선형계획에서 중요한 역할을 하지만 여전히 탐색이 부족한 분기결정법 알고리즘의 노드 선택 문제를 해결한다.
• 크기가 변하는 노드에서 구조적 정보를 손실하는 고정 차원의 노드 표현 방식의 한계를 극복한다.
• 학습된 노드 비교를 통해 원시적으로 어려운 NP-완전 문제에서 해법 효율을 향상시키고 분기결정법 트리 크기를 줄인다.
• 학습된 노드 비교기능을 훈련 데이터 분포를 초월한 더 큰 인스턴스에 일반화한다.
• GNN 기반의 노드 비교가 전문가가 설계한 휴리스틱(예: SCIP 기본값)과 이전의 기계학습 방법을 모두 능가할 수 있음을 보여준다.

제안 방법

• 분기결정법 트리의 각 노드를 변수-제약 조건 관계와 이중 정보를 반영한 소유된 이분 그래프로 표현한다.
• 두 노드를 비교하기 위해 쌍별 점수 함수를 학습하는 쌍방향 GNN 아키텍처를 설계하여 그들을 순위 매긴다.
• 최적 해에 도달하는 데 기여하는 노드를 우선순위로 삼는 도약 오라클을 모방하기 위해 암시 학습을 사용해 모델을 훈련시킨다.
• 솔버(예: Gurobi)에서 생성한 트리어스를 활용해 후행적 암시 학습을 수행하여 레이블이 부여된 비교를 생성한다.
• SCIP에 학습된 노드 비교기능을 통합하기 위해 기본 노드 비교 함수를 대체하고, 최상위 순위의 노드 선택 규칙을 사용한다.
• 다양한 기준에서 공정하게 평가하기 위해 기하 평균에 1-시프트된 기하 표준편차를 적용한다.

실험 결과

연구 질문

• RQ1 고정 차원 임bedding를 통해 구조적 정보를 손실하지 않고 분기결정법에서 노드 비교를 효과적으로 학습할 수 있는가?
• RQ2 암시 학습을 통해 도약 오라클을 모방하는 것이 기존의 기계학습 기반 또는 기본 솔버 전략보다 더 나은 노드 선택을 이끌어내는가?
• RQ3 GNN 기반의 노드 비교기능은 훈련 데이터 분포를 초월한 더 큰, 새로운 인스턴스로 일반화 가능한가?
• RQ4 원시적으로 어려운 문제에서 GNN의 성능은 이전의 기계학습 방법(SVM, MLP 등)과 기본 SCIP 노드 선택 규칙과 비교해 어떻게 되는가?
• RQ5 기본값 대비 학습된 노드 비교기능이 분기결정법 트리 크기와 해법 시간을 얼마나 줄이는가?

주요 결과

• GNN 기반의 노드 비교기능은 세 가지 원시적으로 어려운 NP-완전 기준에서 기본 SCIP 노드 선택 전략보다 더 빠른 해법 시간과 더 작은 분기결정법 트리를 달성한다.
• MAXSAT 기준에서 GNN 모델은 SCIP 기본 전략과 이전의 기계학습 방법을 모두 뛰어넘어 평균 트리 크기를 19% 감소시키고 해법 시간을 12% 감소시켰다.
• 학습 중에 볼 수 없었던 더 큰 테스트 인스턴스로도 효과적으로 일반화되어 강건성과 전이 가능성(transferability)을 입증했다.
• 오라클 자체가 SCIP보다 성능이 열 劣한 GISP 기준에서도 모델은 경쟁적인 성능을 달성했으며, 전문가의 한계가 있음에도 불구하고 뛰어난 암시 학습 능력을 보였다.
• SVM 및 MLP 기준보다 트리 크기와 해법 시간 측면에서 일관되게 우수한 성능을 보였으며, 테스트 세트에서 기하 평균 트리 크기는 GNN이 1203으로, SVM(1295) 및 MLP(1238)보다 낮았다.
• 가장 도전적인 기준에서 SCIP 대비 평균 해법 시간을 12.8% 감소시켰으며, 기하 표준편차가 22.8분으로, 인스턴스 간 일관성 있는 성능을 보였다.