[논문 리뷰] Hybrid Models for Learning to Branch

Prateek Gupta, Maxime Gasse외 4명|arXiv (Cornell University)|2020. 06. 26.

Topic Modeling참고 문헌 7인용 수 48

한 줄 요약

논문은 루트 노드 Graph Neural Network와 빠른 MLP 기반 분기를 결합한 CPU 친화적 하이브리드 아키텍처를 제시하여 MILP 해를 가속하고, GPUs 없이도 최신 CPU 방법 대비 최대 26% 빠른 런타임을 달성합니다.

ABSTRACT

A recent Graph Neural Network (GNN) approach for learning to branch has been shown to successfully reduce the running time of branch-and-bound algorithms for Mixed Integer Linear Programming (MILP). While the GNN relies on a GPU for inference, MILP solvers are purely CPU-based. This severely limits its application as many practitioners may not have access to high-end GPUs. In this work, we ask two key questions. First, in a more realistic setting where only a CPU is available, is the GNN model still competitive? Second, can we devise an alternate computationally inexpensive model that retains the predictive power of the GNN architecture? We answer the first question in the negative, and address the second question by proposing a new hybrid architecture for efficient branching on CPU machines. The proposed architecture combines the expressive power of GNNs with computationally inexpensive multi-layer perceptrons (MLP) for branching. We evaluate our methods on four classes of MILP problems, and show that they lead to up to 26% reduction in solver running time compared to state-of-the-art methods without a GPU, while extrapolating to harder problems than it was trained on. The code for this project is publicly available at https://github.com/pg2455/Hybrid-learn2branch.

연구 동기 및 목표

• GPU가 사용 불가능할 때 실용적인 분기 개선을 동기부여한다.
• GNN의 이점을 보존하면서 대부분의 트리 노드에서 저렴한 계산을 사용한 하이브리드 아키텍처를 개발한다.
• CPU 전용 설정에서 일반화 및 성능을 향상시키는 학습 프로토콜을 조사한다.
• 시간 절감과 확장성을 보여주기 위해 여러 MILP 문제 계층에서 평가한다.

제안 방법

• 루트 노드에 GNN을 사용하여 구조 정보를 추출하고 남은 노드에 MLP를 사용하여 분기 후보를 예측하는 하이브리드 아키텍처를 도입한다.
• 루트 GNN 표현과 cheap한 노드 특성을 여러 융합 전략(CONCAT, FiLM, HyperSVM, HyperSVM-FiLM)으로 결합한다.
• 교차 엔트로피 손실을 통해 전문가로서 strong branching을 활용한 모방 학습으로 학습한다; 엔드투엔드 학습 및 프리트레이닝 변형을 탐구한다.
• 사전 학습된 GNN로부터의 지식 증류, 보조 작업(ED 또는 MHE)으로 표현 다양화 및 깊이 가중 손실 스키마로 학습을 강화한다.
• 純 GNN에서 순수 MLP까지 스펙트럼을 다루기 위해 서로 다른 계산 비용을 가진 여러 데이터 추출 스키마를 제안하고 비교한다.
• 네 개의 MILP 계통(Capacitated Facility Location, Combinatorial Auctions, Set Covering, Independent Set)에서 평가하고 시간, 노드, 해의 질을 분석한다.

실험 결과

연구 질문

• RQ1 MILP에서 학습-분기에 대해 CPU 전용 하이브드 모델이 GPU 가속 GNN에 비해 경쟁력 있는가?
• RQ2 루트 GNN과 빠른 MLP의 하이브드 아키텍처가 순수 MLP나 순수 GNN의 CPU 하드웨어 성능에 맞추어 동등하거나 우수한가?
• RQ3 엔드-투-엔드 학습, 지식 증류, 보조 과제, 깊이 가중 학습과 같은 학습 프로토콜이 일반화와 실행 시간 효율성을 향상시키는가?
• RQ4 제안된 하이브드 접근법으로부터 가장 큰 혜택을 얻는 문제 계층은 무엇이며 더 큰 인스턴스로의 외삽은 어떻게 동작하는가?
• RQ5 다른 융합 전략(CONCAT, FiLM, HyperSVM 변형) 간의 정확도와 실행시간 측면에서 어떤 트레이드-오프가 있는가?

주요 결과

• 하이브리드 모델은 CPU에서 상태-오브-더-아트 CPU 베이스라인 대비 Solver 실행 시간을 최대 26%까지 감소시킨다.
• GNN-전용 접근 방식은 GPU 추론 없이 CPU에서 경쟁력이 없으며, 하이브리드 설계의 가치를 강조한다.
• FiLM 및 CONCAT 융합 전략은 일반적으로 다른 하이브드보다 성능이 우수하고, HyperSVM 기반 하이브리드는 저렴하지만 정확도가 낮다.
• 학습 프로토콜(엔드-투-엔드, 지식 증류, 보조 과제, 깊이 기반 손실 가중치)은 측정 가능한 정확도 증가와 B&B 성능 개선을 가져오며, KD가 종종 더 나은 일반화를 제공한다.
• FiLM 기반 하이브드 모델은 비ML 베이스라인에 더 일관되게 매칭하거나 상회하며, 훈련 분포를 넘어 더 어려운 인스턴스로 외삽할 수 있다.