[논문 리뷰] Learning a Large Neighborhood Search Algorithm for Mixed Integer Programs

Nicolas Sonnerat, Pengming Wang외 3명|arXiv (Cornell University)|2021. 07. 21.

Machine Learning and Algorithms인용 수 13

한 줄 요약

이 논문은 혼합정수계획법(MIP)을 위한 학습 기반 대규모 이웃 탐색(LNS) 프레임워크를 제안한다. 이 프레임워크는 초기 해 생성을 위한 신경망 다이빙(Neural Diving) 모델과 반복적 개선을 위한 신경망 이웃 선택(NNS) 정책을 결합한다. NNS 정책은 최적의 전문가 이웃 선택 정책을 모방하도록 암시 학습(imitation learning)을 통해 훈련되며, 고시간 제한에서 대규모 실세계 MIP 인스턴스에 대해 기준선 대비 평균 원시 갭(primial gap)을 최대 37.8배 향상시킨다.

ABSTRACT

Large Neighborhood Search (LNS) is a combinatorial optimization heuristic that starts with an assignment of values for the variables to be optimized, and iteratively improves it by searching a large neighborhood around the current assignment. In this paper we consider a learning-based LNS approach for mixed integer programs (MIPs). We train a Neural Diving model to represent a probability distribution over assignments, which, together with an off-the-shelf MIP solver, generates an initial assignment. Formulating the subsequent search steps as a Markov Decision Process, we train a Neural Neighborhood Selection policy to select a search neighborhood at each step, which is searched using a MIP solver to find the next assignment. The policy network is trained using imitation learning. We propose a target policy for imitation that, given enough compute resources, is guaranteed to select the neighborhood containing the optimal next assignment amongst all possible choices for the neighborhood of a specified size. Our approach matches or outperforms all the baselines on five real-world MIP datasets with large-scale instances from diverse applications, including two production applications at Google. It achieves $2\ imes$ to $37.8\ imes$ better average primal gap than the best baseline on three of the datasets at large running times.

연구 동기 및 목표

• 일괄적 원시 휴리스틱 기법인 신경망 다이빙의 한계를 해결하기 위해, 실행 시간이 증가해도 향상되지 않는 문제를 해결하고자 한다.
• 초기 할당을 초월해 반복적으로 MIP 해를 향상시킬 수 있는 확장성 있고 학습 가능한 LNS 프레임워크를 개발하고자 한다.
• 최적의 전문가 정책을 모방하는 이웃 선택 정책을 훈련시켜 고품질 해에 빠르게 수렴할 수 있도록 하고자 한다.
• 다양한 대규모 실세계 MIP 데이터셋, 특히 주요 기술 기업의 생산 인스턴스를 포함한 데이터셋에서 본 방법의 효과성을 입증하고자 한다.

제안 방법

• MIP의 구조에 조건부된 생성 모델을 활용하여, MIP 변수에 대한 초기 탐색 가능한 할당을 생성하기 위해 신경망 다이빙 모델을 사용한다.
• 각 LNS 반복 단계에서, 현재 할당을 기반으로 신경망 이웃 선택(NNS) 정책이 정수 변수의 부분집합을 해제할 것을 선택한다.
• 선택된 변수들은 하위 MIP를 정의하며, 이는 표준 MIP 솔버(예: SCIP)를 사용해 풀려 하여 다음 개선된 할당을 도출한다.
• NNS 정책은 주어진 크기의 하미트 볼(Hamming ball) 내에서 최적의 다음 할당을 포함하는 이웃을 선택하는 목표 전문가 정책을 사용해 암시 학습을 통해 훈련된다.
• 전체 전문가 정책은 계산적으로 비용이 많이 들지만, 오프라인 데이터 생성에는 실행 가능하므로 최적의 이웃 선택을 모방할 수 있다.
• 본 방법은 초기 할당과 이웃 선택이 모두 고차원 결정에 대한 공동 분포로 모델링되므로 확장성이 있으며, 효율적인 추론이 가능하다.

실험 결과

연구 질문

• RQ1 학습된 이웃 선택 정책이 대규모 MIP에서 일괄적 초기 휴리스틱 기법인 신경망 다이빙을 초월해 해 품질을 크게 향상시킬 수 있는가?
• RQ2 MIP의 LNS에서 최적의 전문가 이웃 정책을 암시 학습으로 학습시키는 것이 휴리스틱 또는 무작위 이웃 선택에 비해 어떻게 성능이 뛰어나게 되는가?
• RQ3 제안된 LNS 프레임워크가 다양한 실세계 MIP 데이터셋에서 기준선 대비 원시 갭 감소 측면에서 얼마나 뛰어나게 성능을 발휘할 수 있는가?
• RQ4 NNS 정책의 반복적 적용은 비반복적 휴리스틱에 비해 연장된 실행 시간을 어떻게 더 효과적으로 활용할 수 있는가?

주요 결과

• 제안된 ND + NNS 방법은 대규모 기업의 두 개의 생산 애플리케이션을 포함한 다섯 개인 다양한 실세계 MIP 데이터셋에서 모든 기준선을 맞추거나 초월한다.
• 세 개의 데이터셋에서, 고시간 제한에서 기준선 중 최고 성능을 기록한 것보다 평균 원시 갭이 2배에서 37.8배까지 향상되었다.
• 성능 향상의 원인은 NNS 정책의 반복적 사용에 기인하며, 이는 일괄적 신경망 다이빙 기준선 대비 더 나은 시간 예산 활용을 가능하게 한다.
• 본 방법은 이전의 학습 기반 LNS 접근법이 고정된 이웃 선택이나 느린 추론으로 인해 제한되었던 대규모 MIP 인스턴스에서도 확장성과 효과성을 입증하였다.
• 암시 학습 접근법은 최적의 전문가 이웃 정책을 효과적으로 근사하여 테스트 시 빠르고 효과적인 이웃 선택을 가능하게 하였다.
• 결과적으로 종단 간 훈련과 더 표현력이 풍부한 아키텍처(예: 순차적 생성 모델)를 사용할 경우 성능 향상이 추가로 기대된다.