[논문 리뷰] MIP-GNN: A Data-Driven Framework for Guiding Combinatorial Solvers

Elias B. Khalil, Christopher G. Morris외 1명|ArXiv.org|2022. 05. 27.

Vehicle Routing Optimization Methods인용 수 5

한 줄 요약

MIP-GNN는 혼합정수계획법을 이분 그래프로 표현하여 근사 최적해에서 변수가 1이 되는 확률을 나타내는 변수 편향을 예측하는 그래프 신경망 프레임워크입니다. 이를 통해 MIP 솔버의 결정을 안내합니다. 다양한 이진 MILP 인스턴스에서 CPLEX의 노드 선택 및 웜스타트 성능을 크게 향상시키며, 특성 공학 없이도 단일 학습 모델로 여러 솔버 컴포넌트에 적용할 수 있습니다.

ABSTRACT

Mixed-integer programming (MIP) technology offers a generic way of formulating and solving combinatorial optimization problems. While generally reliable, state-of-the-art MIP solvers base many crucial decisions on hand-crafted heuristics, largely ignoring common patterns within a given instance distribution of the problem of interest. Here, we propose MIP-GNN, a general framework for enhancing such solvers with data-driven insights. By encoding the variable-constraint interactions of a given mixed-integer linear program (MILP) as a bipartite graph, we leverage state-of-the-art graph neural network architectures to predict variable biases, i.e., component-wise averages of (near) optimal solutions, indicating how likely a variable will be set to 0 or 1 in (near) optimal solutions of binary MILPs. In turn, the predicted biases stemming from a single, once-trained model are used to guide the solver, replacing heuristic components. We integrate MIP-GNN into a state-of-the-art MIP solver, applying it to tasks such as node selection and warm-starting, showing significant improvements compared to the default setting of the solver on two classes of challenging binary MILPs.

연구 동기 및 목표

• 문제 분포에서의 인스턴스별 패턴을 忽시하는 수작업 히ュ리스틱에 의존하는 MIP 솔버의 한계를 해결한다.
• 근사 최적해로부터의 데이터 기반 통찰을 활용해 조합 최적화 문제의 솔버 성능을 향상시킨다.
• 단일 학습 모델을 사용해 MIP 솔버의 여러 컴포넌트를 동시에 향상시킬 수 있는 일반적이고 재사용 가능한 프레임워크를 개발한다.
• 추가적인 특성 공학 없이도 예측된 변수 편향을 노드 선택, 브랜치 선택, 웜스타트와 같은 핵심 MIP 솔버 동작에 통합한다.
• 단일 MIP-GNN 모델이 다양한 실제 이진 MILP 인스턴스에 걸쳐 효과적이고 이식 가능함을 입증한다.

제안 방법

• 변수 및 제약 조건 노드로 구성된 이분 그래프로 혼합정수선형계획법(MILP)을 표현하며, 간선은 비제로 계수를 나타냅니다.
• 근사 최적해에서 1의 성분 평균인 변수 편향을 예측하기 위해 지도 학습 방식으로 그래프 신경망(GNN)을 학습합니다.
• 메시지 전파 과정에서 잔차 오차 메시지를 통합하여 GNN이 제약 위반과 해의 타당성을 더 잘 포착할 수 있도록 합니다.
• 예측된 변수 편향을 활용해 MIP 솔버 결정을 안내합니다: 분기컷 트리의 노드 우선순위 정하기, 브랜칭 변수 선택, 반올림된 해로 웜스타트 수행.
• 동일한 모델을 사용해 여러 솔버 컴포넌트에 적용함으로써 이식 가능성을 확보하고, 각 컴포넌트 별 학습 오버헤드를 줄입니다.
• 최신 GNN 아키텍처(예: SAGE with EdgeConvolution)를 활용하고, 편향 예측을 위한 임계값 설정과 같은 하이퍼파rameter를 튜닝합니다.

실험 결과

연구 질문

• RQ1 단일 데이터 기반 GNN 모델이 MIP 솔버의 여러 히ュ리스틱 컴포넌트를 향상시키는 데 효과적인 변수 편향을 예측할 수 있는가?
• RQ2 다양한 이진 MILP 인스턴스에서 MIP-GNN의 성능은 기본 CPLEX 솔버와 비교해 원시 적분, 최적성 갭, 해 품질 측면에서 어떻게 다를까?
• RQ3 한 문제 세트에서 학습된 MIP-GNN 모델이 동일한 문제 유형 내에서 약간 다른 문제 세트로 일반화될 수 있는가?
• RQ4 GNN 메시지 전파 과정에 잔차 오차를 통합하면 변수 편향 예측 정확도와 이후 솔버 안내 성능이 향상되는가?
• RQ5 MIP-GNN이 동시에 노드 선택과 웜스타트 성능 향상을 이룰 수 있는가? 이는 학습된 편향의 다중 컴포넌트 유용성을 보여주는가?

주요 결과

• 일반화된 독립집합 문제(GISP)의 10개 테스트 세트 전반에서 MIP-GNN은 기본 CPLEX보다 노드 선택에서 유의미하게 뛰어난 성능을 보이며 원시 적분과 최적성 갭을 감소시켰다.
• GISP 데이터셋에서 MIP-GNN은 거의 모든 경우에서 종료 시 찾은 최良 해를 향상시켰고, 대부분의 데이터셋에서 최적성 갭을 감소시켰다.
• 고정비용 다중물류망 흐름(FCMNF) 문제에서는 MIP-GNN이 테스트 인스턴스의 81%에서 더 나은 최종 해를 달성했고, 노드 선택에 사용했을 때 62%의 경우에서 더 작은 원시 적분을 기록했다.
• MIP-GNN에 의해 안내된 노드 선택은 LP 상황에서 정수 타당 해를 더 자주 발견하게 하여, 탐색 트리에서 유망한 영역을 더 효율적으로 탐색하고 있음을 시사한다.
• MIP-GNN 예측을 기반으로 한 웜스타트는 기본 웜스타트 구현에도 불구하고 GISP 데이터셋 9개 중 6개에서 더 나은 최종 해를 달성했고, 6개에서는 더 작은 최적성 갭을 기록했다.
• 이식 학습 실험 결과, 한 문제 세트에서 학습된 MIP-GNN 모델이 다른 문제 세트로 잘 일반화되었으며, 세 개의 테스트 세트 중 두 곳에서 원본 모델보다 성능이 동일하거나 뛰어났다.