[논문 리뷰] Benders Cut Classification via Support Vector Machines for Solving Two-stage Stochastic Programs

Huiwen Jia, Siqian Shen|arXiv (Cornell University)|2019. 06. 14.

Supply Chain and Inventory Management참고 문헌 45인용 수 4

한 줄 요약

이 논문은 지원벡터기계(SVM)를 사용하여 유의미하게 경계를 향상시키거나 최적해에서 바인딩되는 가장 유용한 벤더스 컷만 선택적으로 생성하는 학습 강화 벤더스 분해 알고리즘인 LearnBD를 제안한다. 덜 유용한 컷을 필터링함으로써 LearnBD는 이완된 주문 문제(RMP)의 크기와 해법 시간을 줄여, 기존의 벤더스 분해보다도 용량 제약이 있는 시설 위치 문제 및 다중 상품 네트워크 설계 문제에서 더 빠른 수렴을 달성한다.

ABSTRACT

We consider Benders decomposition for solving two-stage stochastic programs with complete recourse based on finite samples of the uncertain parameters. We define the Benders cuts binding at the final optimal solution or the ones significantly improving bounds over iterations as valuable cuts. We propose a learning-enhanced Benders decomposition (LearnBD) algorithm, which adds a cut classification step in each iteration to selectively generate cuts that are more likely to be valuable cuts. The LearnBD algorithm includes two phases: (i) sampling cuts and collecting information from training problems and (ii) solving testing problems with a support vector machine (SVM) cut classifier. We run the LearnBD algorithm on instances of capacitated facility location and multi-commodity network design under uncertain demand. Our results show that SVM cut classifier works effectively for identifying valuable cuts, and the LearnBD algorithm reduces the total solving time of all instances for different problems with various sizes and complexities.

연구 동기 및 목표

• 누적 컷으로 인해 이완된 주문 문제(RMP)의 크기가 급격히 증가함에 따라 발생하는 계산적 병목 현상을 해결하기 위해.
• 완전한 후행 조치를 가진 이중 스테이지 스토하스틱 프로그램에서 유용한 컷만 식별하고 우선순위를 매김으로써 해법 효율성을 향상시키기 위해.
• 다양한 크기와 구조를 가진 문제 인스턴스 간에 재사용 가능한 기계학습 프레임워크를 개발하기 위해.
• SVM 기반 컷 분류의 효과를 평가하여 총 해법 시간을 줄이되, 최적성 갭 제어를 유지하기 위해.

제안 방법

• LearnBD 알고리즘은 두 단계 과정을 도입한다: (i) 해결된 인스턴스에서 컷 특성(예: 컷 위반도 및 시나리오당 컷 수)을 추출하기 위해 학습 데이터를 수집하고, (ii) 이 데이터를 기반으로 유용한 컷을 예측할 수 있는 SVM 분류기를 훈련한다.
• 문제에 특화된 스케일링 요소를 사용하여 컷 특성을 정규화한다: 컷 위반도는 상대적 총 운송 비용으로, 컷 빈도는 네트워크 크기(|W|×|F|)로 스케일링하여 인스턴스 간 이식 가능성을 확보한다.
• 각 반복 단계에서 훈련된 SVM 분류기는 유용성이 높은 컷을 예측하고, 그들만 RMP에 추가되므로 RMP의 크기와 해법 시간이 감소한다.
• 연속적인 불확실성을 다루기 위해 표본 평균 근사(SAA)를 사용하며, 몬테카를로 샘플링을 통해 유한한 시나리오를 생성한다.
• SVM은 경계를 크게 향상시키거나 최적해에서 바인딩되는 컷을 식별할 수 있도록 지도 학습 기반으로 훈련되며, 이는 벤더스 분해와 기계학습을 통합한 것이다.
• 프레임워크는 전이 학습을 지원한다: 예를 들어 cap62에서 훈련된 분류기는 적절한 특성 스케일링을 통해 cap42에 적용될 수 있으며, 재훈련 없이도 효율성을 향상시킬 수 있다.

실험 결과

연구 질문

• RQ1 SVM 기반 분류기는 이중 스테이지 스토하스틱 프로그램에서 유용한 컷과 비유용한 컷을 효과적으로 구분할 수 있는가?
• RQ2 학습된 분류기를 사용해 컷을 필터링할 경우, 기존의 벤더스 분해에 비해 이완된 주문 문제(RMP)의 크기와 해법 시간이 감소하는가?
• RQ3 한 문제 인스턴스에서 훈련된 컷 분류기는 크기나 구조적 파rameter가 다른 다른 문제 인스턴스로 성공적으로 이식 가능한가?
• RQ4 LearnBD 알고리즘의 성능는 용량 제약이 있는 시설 위치 문제 및 다중 상품 네트워크 설계 문제의 다양한 인스턴스에서 어떻게 스케일링되는가?

주요 결과

• LearnBD는 테스트된 인스턴스 전반에서 기존의 벤더스 분해 대비 평균 18.5%의 총 해법 시간 감소를 기록했으며, cap62에서 훈련된 분류기를 cap42에 이식한 경우 RMP 해법 시간은 29.5% 감소했다.
• cap42에서 동일한 인스턴스에서 훈련된 SVM 컷 분류기는 단지 4,304개의 컷만 사용해 0.01%의 최적성 갭을 달성했으며, 표준 벤더스 방법은 6,000개의 컷이 필요했다.
• cap62에서 훈련된 분류기를 cap42에 이식한 경우, 총 시간은 12.5% 감소(97.96초 대비 111.96초)했고, RMP 해법 횟수는 30회에서 29회로 감소했다.
• 상대적 운송 비용과 네트워크 크기로 정규화된 컷 특성의 사용은 다양한 수의 시설과 창고를 가진 인스턴스 간 효과적인 전이 학습을 가능케 했다.
• SVM 분류기를 사용할 경우, 반복당 추가되는 컷 수가 기존의 6,000개에서 4,304개로 크게 감소했으며, 이는 RMP 해법 시간 단축에 직접 기여했다.
• 모든 테스트된 인스턴스에서 최적성 갭이 0.01% 이하로 유지되어, 성능 향상이 해법 품질의 손실 없이 달성되었음을 보여주었다.