[논문 리뷰] Accelerating Primal Solution Findings for Mixed Integer Programs Based on Solution Prediction

Jian-Ya Ding, Chao Zhang외 5명|arXiv (Cornell University)|2019. 06. 23.

Vehicle Routing Optimization Methods참고 문헌 24인용 수 15

한 줄 요약

이 논문은 혼합정수계획법(MIP)의 구조를 삼분할 그래프 표현으로 나타내어, 그래프 신경망(GCN) 기반 프레임워크를 제안한다. 이 프레임워크는 MIP의 이진 변수 해를 예측하며, 예측된 안정된 변수를 활용해 루트 브랜치를 안내하거나 전역 컷을 생성함으로써 초기 해 탐색 속도를 가속화한다. 이 방법은 8종의 MIP 문제 유형을 대상으로 SCIP를 통해 검증되었으며, 유사한 MIP 인스턴스에서 해 탐색 속도를 약 10배 향상시키며 최적성에 거의 영향을 주지 않음.

ABSTRACT

Mixed Integer Programming (MIP) is one of the most widely used modeling techniques for combinatorial optimization problems. In many applications, a similar MIP model is solved on a regular basis, maintaining remarkable similarities in model structures and solution appearances but differing in formulation coefficients. This offers the opportunity for machine learning methods to explore the correlations between model structures and the resulting solution values. To address this issue, we propose to represent an MIP instance using a tripartite graph, based on which a Graph Convolutional Network (GCN) is constructed to predict solution values for binary variables. The predicted solutions are used to generate a local branching type cut which can be either treated as a global (invalid) inequality in the formulation resulting in a heuristic approach to solve the MIP, or as a root branching rule resulting in an exact approach. Computational evaluations on 8 distinct types of MIP problems show that the proposed framework improves the primal solution finding performance significantly on a state-of-the-art open-source MIP solver.

연구 동기 및 목표

• 반복적으로 발생하는 MIP 해법에서 인스턴스 간의 구조적 유사성을 활용해 초기 해 탐색 속도를 향상시키기 위해.
• 그래프 표현 학습을 통해 MIP 포지셔닝 구조와 해 패턴 간의 상관관계를 모델링하기 위해.
• 문제 유형에 특화된 휴리스틱 기법이 필요 없이 일반화 가능한 데이터 기반 방법을 개발하여 MIP 솔버 성능을 향상시키기 위해.
• 그래프 임bedding를 통해 암묵적인 변수 의존성을 포착하여 이진 변수의 효율적인 해 예측을 가능하게 하기 위해.
• 기존의 브랜치 앤 바운드 기법에 기계학습 예측을 통합하여 새로운 브랜치 규칙 또는 전역 컷을 통해 수렴 속도를 향상시키기 위해.

제안 방법

• 각 MIP 인스턴스를 변수, 제약조건, 목적함수 노드로 구성된 삼분할 그래프로 표현하며, 간선은 변수-제약조건 및 제약조건-목적함수 간의 관계를 encoding한다.
• 반복적 근접 탐색으로 생성된 레이블을 기반으로 구조적 특징에 따라 이진 변수 값을 예측할 수 있도록 MIP 인스턴스 데이터셋에서 그래프 컬러션 네트워크(GCN)를 훈련한다.
• 다수의 탐색 가능한 해에서 일관된 값을 가지는 안정된 변수를 식별하기 위해 반복적 근접 탐색 방법을 사용하여 학습 레이블을 정의한다.
• 예측된 해를 바탕으로 로컬 브랜칭 유형의 컷을 생성하며, 이는 휴리스틱 접근 방식에서 전역 부등식으로 추가되거나 정확한 접근 방식에서 루트 브랜칭 규칙으로 사용된다.
• 새로운 MIP 인스턴스에 대해 삼분할 그래프를 구성하고, 예측 결과를 활용해 루트 노드에서 MIP 솔버의 탐색을 안내한다.
• 최적성 갭과 초기 해 탐색 시간을 평가 지표로 삼아, SCIP의 기본 설정과 비교하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 도메인 전문 지식 없이도, 구조적 특징만으로 기계학습이 MIP에서 안정적인 이진 변수 값을 예측할 수 있는가?
• RQ2 삼분할 그래프 표현이 MIP 해 예측을 위한 변수 의존성을 얼마나 잘 포착하는가?
• RQ3 예측된 해 패턴이 반복적인 MIP 인스턴스에서 초기 해 탐색 속도를 향상시킬 수 있는가?
• RQ4 예측 결과를 활용해 루트 브랜칭을 안내하거나 전역 컷을 생성하는 것이 기본 전략보다 더 빠른 수렴을 이끌 수 있는가?
• RQ5 GCN 모델은 다양한 MIP 문제 규모와 유형 간에 얼마나 잘 일반화되는가?

주요 결과

• GCN 기반 예측 프레임워크는 8종의 MIP 문제 유형에 대해 SCIP의 기본 설정 대비 평균적으로 최적성 갭을 2.28%p 감소시켰다.
• GCN 예측 루트 브랜칭을 사용하는 정확한 접근 방식(GCN-E)은 유사한 MIP 인스턴스에서 초기 해 탐색 속도를 10배로 향상시켰으며, 최적성 증명 시간에 약간의 희생을 끼쳤다.
• 모델는 뛰어난 일반화 성능 유지를 보였다: 소규모 인스턴스에서 훈련한 모델이 대규모 인스턴스에서 평균 예측 정밀도가 0.621을 유지했으며, 정확도 저하 정도는 중간 수준이었다.
• FCNF 및 GA 문제 유형에서는 GCN 모델이 예측 정밀도가 0.96 이상을 기록하여, 명확한 변수 상관관계를 가지는 구조화된 문제에서 뛰어난 성능을 보였다.
• 전역 컷을 사용하는 휴리스틱 접근 방식은 초기 해 갭을 크게 감소시켰다—예를 들어, FCNF 인스턴스에서 7.06%에서 GCN-E로 4.78%로 감소—실질적인 가속화 효과를 입증했다.
• 로컬 최적성 구조가 없는 문제, 예를 들어 MIS 및 TSP에서는 효과가 제한적이었으며, 이 경우 예측 정밀도가 0.10 이하로 떨어져 문제 유형에 따라 구조적 의존성이 있음을 시사했다.