[논문 리뷰] Searching Large Neighborhoods for Integer Linear Programs with Contrastive Learning

Taoan Huang, Aaron Ferber외 3명|arXiv (Cornell University)|2023. 02. 03.

Vehicle Routing Optimization Methods인용 수 9

한 줄 요약

CL-LNS는 대조 학습을 사용하여 ILP의 대형 이웃 탐색(LNS)을 위한 destroy 휴리스틱을 학습시키고, 여러 벤치마크에서 최첨단 언제성(anytime) 성능을 달성하며 더 큰 인스턴스로 일반화합니다.

ABSTRACT

Integer Linear Programs (ILPs) are powerful tools for modeling and solving a large number of combinatorial optimization problems. Recently, it has been shown that Large Neighborhood Search (LNS), as a heuristic algorithm, can find high quality solutions to ILPs faster than Branch and Bound. However, how to find the right heuristics to maximize the performance of LNS remains an open problem. In this paper, we propose a novel approach, CL-LNS, that delivers state-of-the-art anytime performance on several ILP benchmarks measured by metrics including the primal gap, the primal integral, survival rates and the best performing rate. Specifically, CL-LNS collects positive and negative solution samples from an expert heuristic that is slow to compute and learns a new one with a contrastive loss. We use graph attention networks and a richer set of features to further improve its performance.

연구 동기 및 목표

• 대형 이웃 탐색(LNS) 내에서 학습 기반 destroy 휴리스틱을 통해 ILP 해결을 개선하려는 동기를 부여한다.
• 향상된 구분을 위해 양성/음성 샘플을 활용하면서 전문가 LB 휴리스틱을 모방하기 위한 대조 학습 프레임워크를 개발한다.
• 그래프 주의 네트워크(Graph Attention Networks)로 특징 풍부성을 높여 destroy-부분집합 선택의 품질을 향상시킨다.
• 더 크고 보지 못한 인스턴스에 대한 강한 일반화와 벤치마크 전반에 걸친 유리한 anytime 성능을 시연한다.

제안 방법

• 이진 ILP에 대해 다시 최적화하기 위한 destroy 부분집합을 갖는 LNS를 형식화한다.
• Local Branching(LB)을 전문가로 활용하여 LB ILP를 해석해 양성/음성 샘플을 생성한다.
• 대조(InfoNCE) 손실을 사용하여 이진 ILP 그래프 위의 정책 네트워크(Graph Attention Network)를 학습시키고, 양호한 destroy 부분집합과 열악한 destroy 부분집합을 구분한다.
• 변수와 제약 조건의 이진 그래프로 ILP 상태를 표현하고, 풍부한 노드/엣지 특징 및 윈도우된 incumbent 값을 포함한다.
• 학습된 정책을 각 LNS 반복에서 탐욕적으로(필요 시 샘플링을 통해) 적용하여 destroy 세트를 선택하고, 해당 부분 ILP를 SCIP으로 풀이한다.
• MVC, MIS, CA, SC 벤치마크에서 프라이멀 갭, 프라이멀 적분, 생존율, 최상 성능 비율을 기준으로 기초선과 비교하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다중 문제 유형에 걸쳐 대조 학습을 활용한 CL-LNS가 기존 ML 유도 및 비ML LNS 기준선보다 ILP에서 더 우수한가?
• RQ2 작은 학습 인스턴스에서 더 크고 보지 못한 인스턴스로 일반화하면서 강한 anytime 성능을 유지할 수 있는가?
• RQ3 더 풍부한 특징 세트와 Graph Attention Networks(GAT)의 사용이 이전의 GCN 기반 설정에 비해 어떤 영향을 미치는가?
• RQ4 학습된 정책이 이터레이션당 효율성과 최종 해의 질 측면에서 전문가 LB와 어떻게 비교되는가?

주요 결과

• CL-LNS는 여러 ILP 벤치마크에서 프라이멀 갭, 프라이멀 적분, 생존율, 최상 성능 비율로 측정된 최고의 anytime 성능을 달성한다.
• CL-LNS는 강한 일반화 성능을 달성하여 학습 중 보지 않은 테스트 인스턴스에 대해 최대 두 배 크기의 인스턴스에서도 잘 작동한다.
• 특성 제거 실험에서 대조 손실, 더 풍부한 특징, 그리고 GAT의 조합이 최고 성능을 낳아 IL-LNS 및 기타 기준선을 여러 설정에서 능가한다.
• 학습된 정책에 의한 탐욕적 선택은 작은 테스트 인스턴스에서 효율성과 해의 질 면에서 종종 LB 기반 정책과 같거나 이를 능가한다.