[논문 리뷰] A Machine Learning Approach to Two-Stage Adaptive Robust Optimization

Dimitris Bertsimas, Cheol Woo Kim|arXiv (Cornell University)|2023. 07. 23.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 이진 여기-지금 변수와 다면체 불확실성 집합을 갖는 이단계 적응형 강건 최적화(ARO) 문제를 가속화하기 위한 기계학습 기반 접근법을 제안한다. 컬럼 및 제약 조건 생성(CCG)을 통해 다수의 ARO 문제를 사전에 해결함으로써 최적 전략(여기-지금 결정, 악성 시나리오, 대기-보는 결정 포함)을 추출하고, 이를 기반으로 기계학습 모델을 학습시켜, 최신 알고리즘 대비 몇 개의 지수 차수 빠른 속도 향상을 이룩하면서도 높은 정확도를 유지를 한다.

ABSTRACT

We propose an approach based on machine learning to solve two-stage linear adaptive robust optimization (ARO) problems with binary here-and-now variables and polyhedral uncertainty sets. We encode the optimal here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the optimal wait-and-see decisions into what we denote as the strategy. We solve multiple similar ARO instances in advance using the column and constraint generation algorithm and extract the optimal strategies to generate a training set. We train a machine learning model that predicts high-quality strategies for the here-and-now decisions, the worst-case scenarios associated with the optimal here-and-now decisions, and the wait-and-see decisions. We also introduce an algorithm to reduce the number of different target classes the machine learning algorithm needs to be trained on. We apply the proposed approach to the facility location, the multi-item inventory control and the unit commitment problems. Our approach solves ARO problems drastically faster than the state-of-the-art algorithms with high accuracy.

연구 동기 및 목표

• 실시간 환경에서 이단계 적응형 강건 최적화(ARO) 문제를 해결하는 데 드는 높은 계산 비용을 해결하기 위해.
• ARO 문제의 최적 전략—여기-지금 결정, 악성 시나리오, 대기-보는 결정—을 예측하는 기계학습 프레임워크를 개발하기 위해.
• 불확실성 집합 실현의 조합 폭발로 인해 발생하는 타깃 클래스의 수를 줄이기 위해.
• 실시간 의사결정이 필수적인 분야인 시설 위치, 재고 제어, 단위 기_COMMIT먼트와 같은 응용 분야에서 빠르고 near-optimal 솔루션을 제공하기 위해.

제안 방법

• 이 방법은 유사한 ARO 인스턴스 여러 개를 사전에 해결하고 최적 전략을 추출하기 위해 컬럼 및 제약 조건 생성(CCG) 알고리즘을 사용하며, 이를 지도 학습 데이터셋으로 활용한다.
• 기계학습 모델은 세 가지 요소를 예측하도록 학습된다: 최적의 여기-지금 결정, 해당 결정에 대응하는 악성 시나리오, 최적의 대기-보는 결정.
• 고차원 불확실성 환경에서의 일반화 능력 향상과 모델 복잡도 감소를 위해, 새로운 클래스 감소 기법을 도입한다.
• 최적 전략을 이진 여기-지금 변수, 악성 불확실성 실현, 연속적인 대기-보는 변수의 통합 예측으로 표현한다.
• 사전에 해결된 ARO 인스턴스의 데이터셋을 기반으로 모델을 학습시켜, 온라인 배포 시 빠른 추론을 가능하게 한다.
• 논문은 시설 위치, 다중 품목 재고 제어, 단위 기_COMMIT먼트 세 가지 실제 문제에 대해 평가하며, 기준 제약 조건 설정을 사용한다.

실험 결과

연구 질문

• RQ1 기계학습을 활용해 이단계 적응형 강건 최적화에서 여기-지금 결정, 악성 시나리오, 대기-보는 결정을 포함한 전체 최적 전략을 효과적으로 예측할 수 있는가?
• RQ2 고차원 불확실성 집합 환경에서 모델의 확장성과 성능을 향상시키기 위해, 기계학습 예측 작업에서 타깃 클래스의 수를 어떻게 줄일 수 있는가?
• RQ3 기존 정확 알고리즘인 CCG에 비해 학습된 전략 모델이 ARO 문제에서 솔루션 품질을 유지하면서 얼마나 큰 속도 향상을 이룰 수 있는가?
• RQ4 제안된 접근법은 시설 위치, 재고 제어, 단위 기_COMMIT먼트와 같은 다양한 ARO 응용 분야로 일반화되어 일관된 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 기계학습 기반 접근법은 이단계 ARO 문제를 밀리초 내에 해결하며, 최신 기술인 CCG 알고리즘 대비 몇 개의 지수 차수 빠른 속도 향상을 기록한다.
• 이 방법은 높은 솔루션 정확도를 유지하며, 테스트된 모든 문제 인스턴스에서 CCG로 확보한 최적 솔루션과 예측 전략이 매우 유사하게 일치한다.
• 클래스 감소 기법은 특히 큰 불확실성 집합을 갖는 문제에서 모델의 일반화 능력 향상과 학습 복잡도 감소에 크게 기여한다.
• 기존의 혼합정수볼록 최적화를 위한 기계학습 방법을 넘어서, 기능적 대기-보는 결정을 갖는 무한차원 ARO 문제로 프레임워크를 확장함으로써, 기존 방법을 초월한다.
• 시설 위치, 다중 품목 재고 제어, 단위 기_COMMIT먼트 문제에 대한 실증 결과는 본 방법의 강건성과 확장성의 다각도적 응용 가능성을 확인한다.
• 모델은 새로운 인스턴스에 대해 잘 일반화되며, 훈련 데이터에 포함되지 않은 불확실성 집합을 갖는 ARO 인스턴스에 대해서도 강력한 일반화 성능을 보여준다.