[논문 리뷰] Reinforcement Learning for Integer Programming: Learning to Cut

Yunhao Tang, Shipra Agrawal외 1명|arXiv (Cornell University)|2019. 06. 11.

Reinforcement Learning in Robotics참고 문헌 26인용 수 53

한 줄 요약

본 논문은 Gomory 방법에서 절단면 선택을 심층 강화학습 문제로 공식화하고, RL-가이드 절단이 브랜치-앤-컷(B&C)을 포함한 여러 문제 클래스와 크기에 걸쳐 정수계획의 성능을 향상시킨다는 것을 보여준다.

ABSTRACT

Integer programming (IP) is a general optimization framework widely applicable to a variety of unstructured and structured problems arising in, e.g., scheduling, production planning, and graph optimization. As IP models many provably hard to solve problems, modern IP solvers rely on many heuristics. These heuristics are usually human-designed, and naturally prone to suboptimality. The goal of this work is to show that the performance of those solvers can be greatly enhanced using reinforcement learning (RL). In particular, we investigate a specific methodology for solving IPs, known as the Cutting Plane Method. This method is employed as a subroutine by all modern IP solvers. We present a deep RL formulation, network architecture, and algorithms for intelligent adaptive selection of cutting planes (aka cuts). Across a wide range of IP tasks, we show that the trained RL agent significantly outperforms human-designed heuristics, and effectively generalizes to 10X larger instances and across IP problem classes. The trained agent is also demonstrated to benefit the popular downstream application of cutting plane methods in Branch-and-Cut algorithm, which is the backbone of state-of-the-art commercial IP solvers.

연구 동기 및 목표

• 강화학습이 정수계획에 대한 Gomory 절단 선택을 크게 개선할 수 있음을 증명한다.
• 효율적인 MDP 구성과 Gomory 절단을 적응적으로 선택하는 심층 RL 정책을 개발한다.
• 다양한 IP 크기와 문제 클래스에서의 일반화를 평가하고 Branch-and-Cut 솔버에 미치는 영향을 평가한다.
• RL이 학습한 절단의 유형과 포획 문제에서 알려진 부등식과의 관련성에 대한 통찰력을 제공한다.

제안 방법

• 상태를 LP 제약, 현재 LP 해, Gomory 절단으로 정의된 Markov 결정 프로세스(MDP)로 설정하고, 행동은 후보 Gomory 절단으로 구성한다.
• 후보에서 절단을 점수화하고 선택하기 위해 주의(attention) 기반의 순서에 구애받지 않는 심층 RL 정책을 사용한다.
• 다양한 문제 크기를 처리하기 위해 LSTM으로 가변 크기 제약을 임베딩하고, 주의 메커니즘으로 행동 확률을 계산한다.
• 다양한 IP 인스턴스에 대한 롤아웃으로 정책 그래디언트를 추정하는 진화 전략(Evolution Strategies)으로 학습한다.
• IGC(Integrality Gap Closure)로 평가하고, 랜덤, 최대 위반, 최대 표준화 위반, Lexicographical 기반선과 비교한다.
• RL 절단을 부분 루틴으로 사용하여 Branch-and-Cut(B&C) 설정에서 평가하고 노드 확장에 미치는 영향을 측정한다.

실험 결과

연구 질문

• RQ1 RL 주도 Gomory 절단이 다양한 IP 계열에서 최적해에 도달하는 데 필요한 절단의 수를 줄일 수 있는가?
• RQ2 전통적 휴리스틱과 비교해 RL이 정수해 간격을 얼마나 효과적으로 닫는가?
• RQ3 RL 정책이 인스턴스 크기와 문제 클래스 간에 일반화되는가, 그리고 Branch-and-Cut 효율성에 기여할 수 있는가?
• RQ4 학습된 절단의 본질은 무엇이며, 이것이 커널형 문제에서 알려진 효과적 부등식(예: 증가된 커버 부등식)과 닮아 있는가?

주요 결과

• RL은 포장, 계획, 이진 포장, 최대 컷 문제에서 베이스라인보다 최적해에 도달하는 절단의 수를 훨씬 적게 필요로 한다.
• RL은 절단만으로 최적해에 도달하지 못하는 대형 인스턴스에서 정수해 간격의 축소를 크게 향상시킨다.
• 작은 인스턴스에서 학습된 정책이 더 큰 인스턴스에 일반화되며 IP 클래스 간에도 전달되며 경쟁력 있는 성능을 보인다.
• 브랜치-앤-컷 프레임워크에서 RL 절단은 확장되는 하위문제 수를 줄이고 전체 효율성을 향상시킨다.
• knapsack 문제에서 RL이 학습한 절단이 증가된 커버 부등식과 유사함을 보여 해석 가능하고 의미 있는 절단 전략이 도출된다.
• B&C의 서브루틴으로 사용될 때 RL 기반 절단은 솔버 성능을 크게 개선한다.