[논문 리뷰] A Survey of Contextual Optimization Methods for Decision Making under Uncertainty

Utsav Sadana, Abhilash Chenreddy외 4명|arXiv (Cornell University)|2023. 06. 17.

Forecasting Techniques and Applications인용 수 16

한 줄 요약

컨텍스트 최적화에 대한 포괄적 고찰로, 세 가지 학습-최적화 프레임워크(의사결정 규칙 최적화, 순차 학습 및 최적화, 통합 학습 및 최적화)와 이들의 모델, 학습 방법, 이론적 보장을 자세히 설명한다.

ABSTRACT

Recently there has been a surge of interest in operations research (OR) and the machine learning (ML) community in combining prediction algorithms and optimization techniques to solve decision-making problems in the face of uncertainty. This gave rise to the field of contextual optimization, under which data-driven procedures are developed to prescribe actions to the decision-maker that make the best use of the most recently updated information. A large variety of models and methods have been presented in both OR and ML literature under a variety of names, including data-driven optimization, prescriptive optimization, predictive stochastic programming, policy optimization, (smart) predict/estimate-then-optimize, decision-focused learning, (task-based) end-to-end learning/forecasting/optimization, etc. Focusing on single and two-stage stochastic programming problems, this review article identifies three main frameworks for learning policies from data and discusses their strengths and limitations. We present the existing models and methods under a uniform notation and terminology and classify them according to the three main frameworks identified. Our objective with this survey is to both strengthen the general understanding of this active field of research and stimulate further theoretical and algorithmic advancements in integrating ML and stochastic programming.

연구 동기 및 목표

• 부차 정보(공변량)가 불확실성 하의 의사결정에 정보를 제공하는 방식 명확화.
• 의사결정 규칙 최적화, 순차 학습 및 최적화, 그리고 통합 학습 및 최적화 전반에 걸친 기호/용어의 일관화.
• 문헌 전반의 모델, 학습 절차 및 이론적 보장을 요약.
• ML과 확률적 최적화의 통합에 대한 미해결 질문과 방향성을 강조.

제안 방법

• 공변량과 불확실한 매개변수를 가진 컨텍스트 최적화 문제를 정의한다.
• 세 가지 학습 패러다임: 의사결정 규칙 최적화, 순차 학습 및 최적화(SLO), 그리고 통합 학습 및 최적화(ILO)를 제시한다.
• 의사결정 규칙 프레임워크 내의 선형, RKHS 기반, 비선형 의사결칙을 검토한다.
• ILO 내에서 분포적으로 강건한 및 대리/미분 가능 학습 접근법을 논의한다.
• 언롤링, 암시적 미분, 및 미분 가능 대리손실(SPO+) 등을 통한 학습을 설명한다.
• 정책 최적화 및 엔드-투-엔드 학습과 같은 관련 패러다임과의 연결을 요약한다.

실험 결과

연구 질문

• RQ1 컨텍스트 최적화에서 정책 학습의 주요 프레임워크는 무엇이며 어떻게 다른가?
• RQ2 다른 의사결정 규칙(선형, RKHS, 비선형)이 컨텍스트 정보를 활용할 때 어떤 성능을 보이는가?
• RQ3 예측 모델을 하류의 최적화 목표와 가장 잘 정렬시키는 학습 패러다임은 무엇인가?
• RQ4 이러한 컨텍스트 최적화 방법에 대해 존재하는 이론적 보장은 무엇이며, 강건성 및 일관성을 포함하는가?
• RQ5 ML과 확률적 계획법을 통합하는 데 남아있는 이론적 및 알고리즘적 문제는 어디에 있는가?

주요 결과

• 세 가지 주요 프레임워크가 확인되었다: 의사결정 규칙 최적화, 순차 학습 및 최적화(SLO), 그리고 통합 학습 및 최적화(ILO).
• RKHS 기반 및 비선형 의사결칙은 선형 정책을 넘어서 확장될 수 있으며 일부 상황에서 점근적 최적성을 달성한다.
• 통합 학습은 예측 정확도뿐 아니라 처방 성능을 직접적으로 최적화하는 것을 강조한다.
• 모델 잘못 지정 및 데이터 시프트를 방지하기 위해 분포적으로 강건한 및 Wasserstein 기반 접근법이 탐구된다.
• 본 연구는 프레임워크를 관련 작업과 연결하고, 언롤링 및 암시적 미분을 통한 학습을 논의한다.