[논문 리뷰] Learning Cut Selection for Mixed-Integer Linear Programming via Hierarchical Sequence Model

Zhihai Wang, Xijun Li외 6명|arXiv (Cornell University)|2023. 02. 01.

Formal Methods in Verification인용 수 14

한 줄 요약

본 논문은 MILP 해법기의 컷 선택 학습을 위한 계층적 시퀀스 모델(HEM)을 제안하며, 선택할 컷의 수와 추가할 정렬된 하위집합의 순서를 함께 최적화하여 해법의 효율성을 향상시키고 더 큰 인스턴스에 대한 일반화 성능을 확보한다.

ABSTRACT

Cutting planes (cuts) are important for solving mixed-integer linear programs (MILPs), which formulate a wide range of important real-world applications. Cut selection -- which aims to select a proper subset of the candidate cuts to improve the efficiency of solving MILPs -- heavily depends on (P1) which cuts should be preferred, and (P2) how many cuts should be selected. Although many modern MILP solvers tackle (P1)-(P2) by manually designed heuristics, machine learning offers a promising approach to learn more effective heuristics from MILPs collected from specific applications. However, many existing learning-based methods focus on learning which cuts should be preferred, neglecting the importance of learning the number of cuts that should be selected. Moreover, we observe from extensive empirical results that (P3) what order of selected cuts should be preferred has a significant impact on the efficiency of solving MILPs as well. To address this challenge, we propose a novel hierarchical sequence model (HEM) to learn cut selection policies via reinforcement learning. Specifically, HEM consists of a two-level model: (1) a higher-level model to learn the number of cuts that should be selected, (2) and a lower-level model -- that formulates the cut selection task as a sequence to sequence learning problem -- to learn policies selecting an ordered subset with the size determined by the higher-level model. To the best of our knowledge, HEM is the first method that can tackle (P1)-(P3) in cut selection simultaneously from a data-driven perspective. Experiments show that HEM significantly improves the efficiency of solving MILPs compared to human-designed and learning-based baselines on both synthetic and large-scale real-world MILPs, including MIPLIB 2017. Moreover, experiments demonstrate that HEM well generalizes to MILPs that are significantly larger than those seen during training.

연구 동기 및 목표

• MILP 해결에서 컷 선택의 중요성을 동기부여하고, 컷의 양과 순서를 간과하는 기존 학습 기반 접근법의 한계를 식별한다.
• 컷의 수와 순서를 함께 학습하기 위한 계층적 강화 학습 접근법(HEM)을 제안한다.
• 합성 및 실제 MILP를 포함한 기초 방법 대비 실증적 이득을 보이고, 더 큰 인스턴스로의 일반화도 우수하다.

제안 방법

• 컷 선택을 두 수준의 강화 학습 문제로 공식화한다: 상위 수준 정책이 컷의 비율(개수)을 선택하고, 하위 수준의 시퀀스 모델이 그 크기의 정렬된 컷 부분집합을 선택한다.
• 상태를 (LP 이완, 후보 컷, LP 최적해)로 표현하고 각 후보 컷에 대해 13개의 엔지니어링 피처를 부여한다.
• 행동 공간을 후보 컷의 모든 정렬된 부분집합으로 정의하고, 상위 정책에서 비율 k를 먼저 샘플링하고 그 후 floor(N*k) 크기의 정렬된 부분집합을 포인터 네트워크 기반 시퀀스 모델로 샘플링하는 계층적 정책을 도출한다.
• 상위 수준 정책을 tanh-가우시안 분포로 매개화하고 LSTM과 MLP를 결합한 상태 임베딩으로 평균/분산을 예측한다.
• 하위 수준 정책은 포인터 네트워크인 시퀀스 모델로 k-길이의 정렬된 컷 인덱스 시퀀스를 산출하며, 컷 간 상호작용과 순서 효과를 포착하도록 학습한다.
• 상위/하위 매개변수에 대한 그래디언트에 대한 방정식을 도출하고, 병렬형 A3C 유사 학습 체계를 활용하여 계층적 정책 경사로 학습한다.

실험 결과

연구 질문

• RQ1 두 수준의 계층 구조가 선택된 컷의 수와 순서를 모두 효과적으로 학습하여 MILP 해결 효율을 개선할 수 있는가?
• RQ2 상호 작용이 있는 컷 시퀀스 문제로 컷 선택을 모델링하는 것이 독립적 점수화 접근법보다 우수한가?
• RQ3 제안된 방법이 학습 중에 본 인스턴스보다 큰 MILP에 얼마나 잘 일반화되는가?
• RQ4 추가되는 컷의 순서가 솔버 성능에 미치는 영향은 다양한 벤치마크에서 어떤가?
• RQ5 MIPLIB 2017 인스턴스와 같은 실제 대규모 MILP를 다룰 수 있는가?

주요 결과

• HEM은 합성 및 실제 MILP에서 인간이 설계한 기초 방법 및 학습 기반 기준선보다 해결 효율성 측면에서 크게 우수하며, MIPLIB 2017 벤치마크에서도 우수한 성능을 보인다.
• 선택된 컷의 순서는 솔버 효율에 상당한 영향을 미치며, 선택된 컷의 비율도 영향력이 있다.
• HEM은 쉬움, 중간, 어려움 데이터셋 전반에서 강력한 개선을 달성하고, 학습에 사용된 것보다 더 큰 MILP로 일반화한다.
• SBP 및 다른 기준선에 비해 HEM은 다수 벤치마크에서 프라이말-듀얼 차이의 적분(PD integral)과 해결 시간에서 현저한 감소를 보인다.
• 대규모 실제 생산 계획 문제에 대한 실험은 현대 MILP 해법기에 HEM을 도입하는 실용적 이점을 시사한다.