[논문 리뷰] How to effectively use machine learning models to predict the solutions for optimization problems: lessons from loss function

Mahdi Abolghasemi, Babak Abbasi외 2명|arXiv (Cornell University)|2021. 05. 14.

Constraint Satisfaction and Optimization참고 문헌 33인용 수 6

한 줄 요약

이 논문은 대규모 스토케스틱 최적화 문제, 예를 들어 혈액 수송 문제와 같은 맥락에서 최적의 해를 예측하기 위해 고급 기계학습 모델—특히 평균 절대 오차(MAE) 손실을 사용한 LightGBM를 제안한다. MAE 손실이 제약 조건 준수와 해의 정확도를 크게 향상시키며, 최적 해와의 유사도가 최대 98%에 이를 정도로 MSE 및 Huber 손실을 능가함을 입증한다. 또한 상용 솔버보다 빠르고 비용 효율적인 예측이 가능하다.

ABSTRACT

Using machine learning in solving constraint optimization and combinatorial problems is becoming an active research area in both computer science and operations research communities. This paper aims to predict a good solution for constraint optimization problems using advanced machine learning techniques. It extends the work of \cite{abbasi2020predicting} to use machine learning models for predicting the solution of large-scaled stochastic optimization models by examining more advanced algorithms and various costs associated with the predicted values of decision variables. It also investigates the importance of loss function and error criterion in machine learning models where they are used for predicting solutions of optimization problems. We use a blood transshipment problem as the case study. The results for the case study show that LightGBM provides promising solutions and outperforms other machine learning models used by \cite{abbasi2020predicting} specially when mean absolute deviation criterion is used.

연구 동기 및 목표

• 대규모 스토케스틱 최적화 문제, 특히 공급망 맥락에서 최적의 결정 변수를 예측할 수 있는 기계학습 프레임워크를 개발하는 것.
• 다양한 손실 함수(MAE, MSE, Huber)가 기계학습 모델이 예측한 해의 정확도와 제약 조건 준수에 미치는 영향을 조사하는 것.
• 주요 공급망 비용(주문, 보관, 수송, 부족, 폐기)을 분석하여 기계학습 예측 해의 실용적 유용성을 평가하는 것.
• 실제 혈액 수송 문제에 대해 여러 기계학습 모델(LightGBM, SVR, Ridge, MLP)의 성능을 비교하는 것.
• 기계학습 모델이 상용 최적화 솔버보다 더 빠르고 저렴하게 근사 최적 해를 생성할 수 있음을 입증하는 것.

제안 방법

• 혈액 공급망 관리의 이단계 스토케스틱 최적화 문제에서의 역사적 데이터를 기반으로 다중 출력 기계학습 모델(LightGBM, SVR, Ridge, MLP)을 훈련시켰다.
• 해의 품질과 제약 조건 준수에 미치는 영향을 평가하기 위해 평균 절대 오차(MAE), 평균 제곱 오차(MSE), Huber 손실의 세 가지 다른 손실 함수를 사용해 LightGBM를 훈련시켰다.
• 814,000건의 주문 및 재고 기록을 대상으로 예측 해의 정확도(최적 해와의 유사도)와 제약 위반 비율을 측정하여 모델 성능을 평가했다.
• 각 모델의 예측 결과를 기반으로 총 공급망 비용(주문, 보관, 수송, 부족, 폐기)을 계산하고 비교하여 예측의 실용적 유용성을 평가했다.
• 4개 병원과 12개 혈액 제품 연령을 포함한 혈액 수송 네트워크의 사례 연구를 통해 실제 세계의 불확실한 수요와 부패성 조건을 시뮬레이션했다.
• 초기 설정 최적화 및 예측 결과를 최적 솔버로부터 도출된 정확한 해와 비교하여 검증하였다.

실험 결과

연구 질문

• RQ1 MAE, MSE, Huber와 같은 손실 함수의 선택이 제약 조건이 있는 최적화 문제의 해를 예측하는 기계학습 모델의 정확도와 제약 조건 준수에 어떤 영향을 미치는가?
• RQ2 LightGBM, SVR, Ridge, MLP 중 어떤 기계학습 모델이 대규모 스토케스틱 최적화 문제의 최적 결정 변수를 예측하는 데 가장 우수한 성능을 보이는가?
• RQ3 기계학습 예측 해가 최적 해와의 유사도와 비용 효율성 측면에서 얼마나 유사한가?
• RQ4 다양한 손실 함수로 훈련된 모델 중에서 제약 조건을 위반하는 빈도가 가장 낮은 가용성 있는 해를 생성할 수 있는가?
• RQ5 기계학습 예측 해와 최적 해 사이의 총 공급망 비용(주문, 보관, 수송, 부족, 폐기)은 어떻게 비교되는가?

주요 결과

• MAE 손실을 사용해 훈련한 LightGBM는 최적 해와 최대 98%의 유사도를 기록하여 다른 모델과 손실 함수보다 정확도에서 뛰어났다.
• LightGBM-MAE 모델은 814,000건의 기록 중 단 21건에서만 제약 조건을 위반하여 모든 모델 중에서 가장 낮은 수준의 제약 위반을 보이며 뛰어난 제약 준수 성능을 입증했다.
• MSE 손실로 훈련된 모델은 제약 위반 빈도가 현저히 높았으며(예: LightGBM-MSE의 경우 71건의 위반), 제약 조건이 있는 최적화 예측에 적합하지 않다.
• SVR과 LightGBM-MAE는 모두 21건의 제약 위반을 기록하여, 높은 수준의 해의 타당성을 보였다.
• 기계학습 모델, 특히 LightGBM-MAE는 특정 비용(부족, 폐기)을 줄이며 경쟁적인 총 비용을 생성함으로써 비용 상당성 이상의 실용적 유용성을 보였다.
• MLP 모델은 제약 위반 411건을 기록하며 가장 낮은 정확도를 보이며 이 작업에 적합성이 떨어짐을 보였다.