[논문 리뷰] PyEPO: A PyTorch-based End-to-End Predict-then-Optimize Library for Linear and Integer Programming

Bo Tang, Elias B. Khalil|arXiv (Cornell University)|2022. 06. 28.

Advanced Neural Network Applications인용 수 8

한 줄 요약

PyEPO는 선형 및 정수 프로그래밍을 위한 파이토치 기반 엔드 투 엔드 예측-최적화 라이브러리로, 최적화 솔버를 미분 가능한 학습 파이프라인에 통합합니다. 네 가지 최신 기법을 통해 결정 품질을 직접 최적화할 수 있으며, 단일 단계 방법에 비해 합성 문제와 최단 경로, 다중 knapsack과 같은 실제 문제에서 뛰어난 결정 품질을 달성합니다.

ABSTRACT

In deterministic optimization, it is typically assumed that all problem parameters are fixed and known. In practice, however, some parameters may be a priori unknown but can be estimated from historical data. A typical predict-then-optimize approach separates predictions and optimization into two stages. Recently, end-to-end predict-then-optimize has become an attractive alternative. In this work, we present the PyEPO package, a PyTorchbased end-to-end predict-then-optimize library in Python. To the best of our knowledge, PyEPO (pronounced like pineapple with a silent "n") is the first such generic tool for linear and integer programming with predicted objective function coefficients. It provides four base algorithms: a convex surrogate loss function from the seminal work of Elmachtoub and Grigas [16], a differentiable black-box solver approach of Pogancic et al. [35], and two differentiable perturbation-based methods from Berthet et al. [6]. PyEPO provides a simple interface for the definition of new optimization problems, the implementation of state-of-the-art predict-then-optimize training algorithms, the use of custom neural network architectures, and the comparison of end-to-end approaches with the two-stage approach. PyEPO enables us to conduct a comprehensive set of experiments comparing a number of end-to-end and two-stage approaches along axes such as prediction accuracy, decision quality, and running time on problems such as Shortest Path, Multiple Knapsack, and the Traveling Salesperson Problem. We discuss some empirical insights from these experiments, which could guide future research. PyEPO and its documentation are available at https://github.com/khalil-research/PyEPO.

연구 동기 및 목표

• 선형 및 정수 프로그래밍에서 엔드 투 엔드 예측-최적화를 위한 일반적이고 접근하기 쉬운 도구의 부족을 보완하기 위해.
• 최적화 솔버를 딥러닝 파이프라인에 원활하게 통합하여 의사결정 인식 학습을 가능하게 하기 위해.
• 다양한 최적화 문제에서 엔드 투 엔드 및 두 단계 방법을 비교할 수 있는 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• Gurobi 및 Pyomo와 같은 커스텀 신경망과 솔버를 지원하여 광범위한 호환성을 확보하기 위해.
• 실제 및 합성 데이터셋을 사용하여 엔드 투 엔드 학습의 효과성을 실증적으로 검증하기 위해.

제안 방법

• PyEPO는 자동 미분를 사용해 최적화 솔버를 파이토치의 계산 그래프에 통합하여 솔버를 통해 역전파를 가능하게 합니다.
• 네 가지 핵심 학습 알고리즘을 구현합니다: 볼록 대체 손실(Elmachtoub & Grigas, 2021), 미분 가능한 블랙박스 솔버(Pogančić et al., 2019), 그리고 두 가지 편향 기반 방법(Berthet et al., 2020).
• 블랙박스 인터페이스 또는 Pyomo 및 GurobiPy와 같은 고수준 모델링 언어를 통해 최적화 문제를 정의할 수 있습니다.
• 예측 오차가 아닌 결정 품질을 직접 최적화하는 커스텀 신경망 아키텍처와 손실 함수를 사용한 학습을 가능하게 합니다.
• 연속형 및 혼합정수선형계획 문제 모두를 지원하며, 모델 업데이트를 위한 기울기를 계산하는 미분 가능한 솔버를 제공합니다.
• 실험은 합성 데이터셋과 워크래프트 지형 이미지 데이터셋을 사용하며, 회귀 및 경로 정확도를 평가합니다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 예측-최적화가 선형 및 정수 프로그래밍 문제에서 두 단계 방법에 비해 결정 품질을 뛰어나게 할 수 있는가?
• RQ2 미분 가능한 최적화 방법들은 예측 정확도, 결정 품질 및 학습 효율성 측면에서 어떻게 비교되는가?
• RQ3 특징이 풍부한 경우, 예를 들어 이미지 기반 최적화 문제에서 엔드 투 엔드 학습이 어떤 이점을 제공하는가?
• RQ4 완화 및 정규화 기법이 엔드 투 엔드 모델 성능 향상에 어느 정도 기여하는가?
• RQ5 다양한 최적화 문제와 솔버를 지원하면서도 미분 가능성과 학습 효율성을 유지할 수 있는가?

주요 결과

• PFYL 방법은 워크래프트 최단 경로 문제에서 가장 높은 경로 정확도(해결책 내 올바른 간선 비율)를 기록하여 두 단계 방법 및 다른 엔드 투 엔드 방법을 압도했습니다.
• 다중 캐리어 문제와 최단 경로 문제에서 엔드 투 엔드 방법이 두 단계 방법에 비해 상대적 회귀 측정치로 뚜렷한 결정 품질 향상을 보였습니다.
• 워크래프트 지형 데이터셋에서 PFYL은 학습 중 진짜 비용 값을 제공받지 못한 상태에서도 경쟁 가능한 성능을 기록하여 강력한 일반화 능력을 보였습니다.
• 최단 경로 작업에서 두 단계 방법은 SPO+ 및 PFYL과 유사한 성능을 보였으며, 이는 더 단순한 문제에서는 엔드 투 엔드 학습이 항상 필요하지 않음을 시사합니다.
• 프레임워크는 정규화 및 완화 기법이 복잡하거나 노이즈가 많은 환경에서 엔드 투 엔드 모델 성능 향상에 기여할 수 있음을 입증했습니다.
• PyEPO는 학습 철학 간의 효율적 비교를 가능하게 하며, 최신 딥러닝 모델 및 솔버와 즉각적인 통합을 지원합니다.