[논문 리뷰] Predicting Tactical Solutions to Operational Planning Problems under Imperfect Information

Eric Larsen, Sébastien Lachapelle외 4명|arXiv (Cornell University)|2022. 01. 01.

Transportation Planning and Optimization참고 문헌 36인용 수 31

한 줄 요약

이 논문은 불완전한 정보 하에서 이단계 확률적 프로그래밍에서 운영 솔루션의 예상 전략적 기술서술(TDOS)을 신속하게 예측하기 위한 지도학습 접근법을 제안한다. 통제된 불확실성을 가진 합성된 결정론적 문제 사례를 기반으로 딥러닝 모델을 훈련시킴으로써, 이론적 하한에 매우 가까운 정확도로 밀리초 수준의 예측을 달성하여 철도 화물 적재 계획 및 유사 응용 분야에서 더 빠른 전략적 의사결정을 가능하게 한다.

ABSTRACT

This paper offers a methodological contribution at the intersection of machine learning and operations research. Namely, we propose a methodology to quickly predict expected tactical descriptions of operational solutions (TDOSs). The problem we address occurs in the context of two-stage stochastic programming, where the second stage is demanding computationally. We aim to predict at a high speed the expected TDOS associated with the second-stage problem, conditionally on the first-stage variables. This may be used in support of the solution to the overall two-stage problem by avoiding the online generation of multiple second-stage scenarios and solutions. We formulate the tactical prediction problem as a stochastic optimal prediction program, whose solution we approximate with supervised machine learning. The training data set consists of a large number of deterministic operational problems generated by controlled probabilistic sampling. The labels are computed based on solutions to these problems (solved independently and offline), employing appropriate aggregation and subselection methods to address uncertainty. Results on our motivating application on load planning for rail transportation show that deep learning models produce accurate predictions in very short computing time (milliseconds or less). The predictive accuracy is close to the lower bounds calculated based on sample average approximation of the stochastic prediction programs.

연구 동기 및 목표

• 불완전한 정보 하에서 이단계 확률적 프로그래밍에서 온라인으로 제2단계 운영 문제를 해결하는 데 발생하는 계산적 병목 현상을 해결하기 위해.
• 전략적 의사결정에 활용하기 위해 예상 전략적 기술서술(TDOS)을 신속하고 고정확도로 예측할 수 있도록 하기 위해.
• 온라인 시나리오 생성 및 계산 비용이 큰 제2단계 문제의 반복적 해결에 대한 의존도를 줄이기 위해.
• 기계학습을 활용해 NP-난이도 운영 문제의 기대 솔루션을 근사함으로써 운영 연구와 기계학습을 융합하기 위해.

제안 방법

• 불확실한 입력의 통제된 확률 분포(예: 컨테이너 무게 등) 하에서 결정론적 운영 문제 사례를 샘플링하여 대규모 훈련 데이터를 생성한다.
• 각 샘플링된 사례를 오프라인으로 정수선형계획법 솔버를 사용해 해결하여 세부적인 운영 솔루션을 확보한다.
• 이러한 솔루션들을 압축된 TDOS 표현(예: 각 유형의 컨테이너 수, 사용된 레일카 수 등)으로 집계 및 부분 선택한다.
• 입력(제1단계 변수 및 불확실한 특징)과 출력(TDOS) 쌍에 대해 지도학습 기반 기계학습 모델(특히 딥퍼셉트 신경망)을 훈련시킨다.
• 데이터 생성 과정에서 누락되거나 불확실한 입력 특징을 처리하기 위해 적절한 샘플링, 집계 및 부분 선택 기법을 적용한다.
• 훈련된 모델을 사용해 의사결정 시점에서 불완전한 정보 하에서도 실시간으로 기대 TDOS를 저지연, 고정확도로 예측한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 이단계 확률적 프로그래밍에서 불완전한 정보 하에서 운영 솔루션의 기대 전략적 기술서술(TDOS)을 정확하게 예측할 수 있는가?
• RQ2 다양한 기계학습 모델(예: MLP, 로지스틱 회귀, 선형 회귀)의 예측 성능는 표본 평균 근사 기반 이론적 하한과 어떻게 비교되는가?
• RQ3 더 단순한 문제 사례에서 훈련된 모델이 재훈련 없이 더 어려운, 더 복잡한 사례로 일반화되는 정도는 어느 정도인가?
• RQ4 데이터 생성 과정에서 불확실성 처리를 포함시키는 것이 예측의 강건성과 정확도에 어떤 영향을 미치는가?
• RQ5 제2단계 문제를 처음부터 해결하는 것과 비교해 제안된 방법이 온라인 계산 시간을 크게 줄일 수 있는가?

주요 결과

• 회귀 피드포워드 신경망(RegMLP)이 가장 우수한 전반적 성능을 보였으며, 테스트 데이터에서 평균 절대오차(MAE)가 2.372로 이론적 하한에 매우 가까웠다.
• 1개 사례당 예측 시간이 1ms 이내로, 단일 결정론적 ILP 사례를 해결하는 것보다 훨씬 신속했다.
• 더 단순한 사례에서 훈련된 모델가 더 어려운 사례로 재훈련 없이도 잘 일반화되어 강력한 일반화 능력을 보였다.
• 이 방법의 예측 정확도는 표본 평균 근사로 계산된 하한과 0.05 이내였으며, 거의 최적임을 시사했다.
• 온라인 시나리오 생성 및 제2단계 솔루션 계산의 필요성을 줄여 철도 화물 적재 계획에서 더 빠른 전략적 의사결정을 가능하게 했다.
• 결과적으로 이 방법론은 차량 경로 계획에서 수요가 불확실한 문제와 같이 다른 이단계 확률적 문제로도 확장 가능할 것으로 보인다.