[논문 리뷰] From Predictions to Prescriptions in Multistage Optimization Problems

Dimitris Bertsimas, Christopher McCord|arXiv (Cornell University)|2019. 04. 26.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 24

한 줄 요약

이 논문은 k-NN, CART, 그리고 랜덤 포레스트를 사용하여 예측 모델을 결합한 데이터 기반 프레임워크를 제안한다. 이는 불확실성 하에서 다단계 최적화 문제를 해결하기 위한 것으로, k-NN에 대해 점점 줄어드는 수렴 속도와 유한 샘플 보장을 보여주며, 시간에 따라 변화하는 보조 공변량을 활용해 동적 재고 및 로트사이징 문제에서 최대 15%의 비용 절감을 달성한다.

ABSTRACT

In this paper, we introduce a framework for solving finite-horizon multistage optimization problems under uncertainty in the presence of auxiliary data. We assume the joint distribution of the uncertain quantities is unknown, but noisy observations, along with observations of auxiliary covariates, are available. We utilize effective predictive methods from machine learning (ML), including $k$-nearest neighbors regression ($k$NN), classification and regression trees (CART), and random forests (RF), to develop specific methods that are applicable to a wide variety of problems. We demonstrate that our solution methods are asymptotically optimal under mild conditions. Additionally, we establish finite sample guarantees for the optimality of our method with $k$NN weight functions. Finally, we demonstrate the practicality of our approach with computational examples. We see a significant decrease in cost by taking into account the auxiliary data in the multistage setting.

연구 동기 및 목표

• 불확실성 분포가 알려져 있지 않지만, 불확실성과 보조 공변량에 대한 역사적 데이터가 가용한 다단계 최적화 분야의 격차를 메우기 위해.
• 기존의 표본 평균 근사(SAA) 방법이 보조 데이터를 忽시하고 불확실성을 i.i.d.로 간주하는 한계를 극복하기 위해.
• 예측 기반 기계학습 모델을 동적이고 다단계 문제에 대한 실행 가능한 의사결정 정책으로 전환하는 통합 프레임워크를 개발하기 위해.
• k-NN 가중치 함수를 사용한 제안된 방법에 대해 점점 줄어드는 수렴 속도와 유한 샘플 성능 보장을 이론적으로 확립하기 위해.
• 재고 제어 및 로트사이징 문제에 대한 계산 실험을 통해 제안된 방법의 실용적 우수성을 입증하기 위해.

제안 방법

• 상태, 불확실성, 결정, 비용, 전이 함수를 포함한 동적 프로그래밍으로 다단계 최적화 문제를 수식화한다.
• 역사적 불확실성 및 보조 공변량 샘플을 사용해 가치 함수 내 미지의 기대값을 경험 평균으로 대체한다.
• 예측 모델(k-NN, CART, 랜덤 포레스트)을 통합하여 보조 공변량에 조건부로 불확실성의 분포를 추정한다.
• 기계학습 모델에서 유도된 가중치 함수(예: k-NN 커널 가중치)를 사용해 공변량 유사도에 따라 역사적 시나리오에 중요도를 할당한다.
• 각 단계에서 보조 데이터에 따라 가중치가 변하는 수정된 SAA 문제를 풀어 의사결정 정책을 구성한다.
• 기본 재고 정책 파arametrization을 사용한 근사 동적 프로그래밍을 적용하여 계산 복잡도를 줄이면서도 해의 품질을 유지한다.

실험 결과

연구 질문

• RQ1 예측 기반 기계학습 모델이 불확실성 분포가 알려져 있지 않은 상황에서 다단계 최적화에 효과적으로 통합될 수 있는가?
• RQ2 시간에 따라 변화하는 보조 공변량을 통합한 방법이 기존의 SAA 및 정적 예측 기반 접근법에 비해 비용과 강건성 측면에서 어떻게 비교되는가?
• RQ3 k-NN 가중치 함수를 사용한 데이터 기반 다단계 정책에 대해 점점 줄어드는 수렴 속도와 유한 샘플 성능 보장은 어떤 이론적 근거를 가질 수 있는가?
• RQ4 다양한 단계에서 보조 데이터를 활용할 경우, 동적 재고 및 로트사이징 문제에서 외부 샘플 비용이 얼마나 감소하는가?
• RQ5 비볼록 또는 비선형 비용 구조를 다룰 수 있도록 프레임워크를 확장할 수 있는가? 이 경우에도 계산의 실현 가능성은 유지되는가?

주요 결과

• k-NN 가중치 함수를 사용한 제안된 방법은 약간의 정규성 조건 하에 유한 샘플 최적성 보장을 달성하며, 성능에 대한 이론적 신뢰를 제공한다.
• k-NN 및 랜덤 포레스트 가중치 함수에서 시간에 따라 변화하는 보조 데이터를 활용한 결과, 12단계 로트사이징 문제에서 SAA 및 정적 예측 방법 대비 약 15%의 외부 샘플 비용 절감을 달성한다.
• 각 단계에서 보조 데이터를 통합한 동적 가중치 함수를 사용한 방법이 초기 공변량만을 사용한 방법보다 뚜렷이 뛰어나며, 시간에 따른 데이터 통합의 가치를 입증한다.
• 약간의 조건 하에서 이 프레임워크는 점점 줄어드는 수렴 속도를 보이며, 훈련 샘플 수가 증가함에 따라 진짜 최적 정책으로 수렴함을 보장한다.
• 기본 재고 규칙로 정책을 파arametrization하고 决策 변수의 수를 줄임으로써, 대규모 문제에 대해서도 계산적으로 실현 가능하다.
• 실험 결과는 다양한 문제 인스턴스에서 일관된 비용 절감을 보여주며, 다단계 의사결정에 보조 데이터를 통합함으로써 실용적 영향력을 입증한다.