[논문 리뷰] Data-Driven Sample Average Approximation with Covariate Information

Rohit Kannan, Güzi̇n Bayraksan외 1명|arXiv (Cornell University)|2022. 07. 27.

Risk and Portfolio Optimization인용 수 22

한 줄 요약

이 논문은 데이터 기반 SAA에 공변량을 이용해 조건부 확률 프로그램을 위한 예측 모델을 내재화하며, ER-SAA와 두 가지 leave-one-out 변형을 도입하고 수렴 보장 및 경험적 검증을 제공합니다.

ABSTRACT

We study optimization for data-driven decision-making when we have observations of the uncertain parameters within the optimization model together with concurrent observations of covariates. Given a new covariate observation, the goal is to choose a decision that minimizes the expected cost conditioned on this observation. We investigate three data-driven frameworks that integrate a machine learning prediction model within a stochastic programming sample average approximation (SAA) for approximating the solution to this problem. Two of the SAA frameworks are new and use out-of-sample residuals of leave-one-out prediction models for scenario generation. The frameworks we investigate are flexible and accommodate parametric, nonparametric, and semiparametric regression techniques. We derive conditions on the data generation process, the prediction model, and the stochastic program under which solutions of these data-driven SAAs are consistent and asymptotically optimal, and also derive convergence rates and finite sample guarantees. Computational experiments validate our theoretical results, demonstrate the potential advantages of our data-driven formulations over existing approaches (even when the prediction model is misspecified), and illustrate the benefits of our new data-driven formulations in the limited data regime.

연구 동기 및 목표

• 공변량이 불확실 매개변수의 분포에 정보를 제공할 때 데이터 기반 의사결정 동기를 부여한다.
• 회귀 예측 및 잔차를 활용하는 데이터 기반 SAA 프레임워크를 개발한다.
• 제안된 방법에 대한 이론적 보장(일관성, 점근적 최적성, 속도)에 대한 확립한다.
• 한정된 데이터에서 성능 향상을 위한 잭나이프 기반 변형을 도입하고 분석한다.
• 매개변수적, 비모수적, 준모수적 회귀 설정 전반에 걸쳐 적용 가능성을 보여준다.

제안 방법

• 공변량 X와 무작위 오차 ε를 가진 Y = f*(X) + Q*(X)ε로 모델링한다.
• FI-SAA, ER-SAA, 및 시나리오 생성을 위한 두 잭나이프 기반 SAA 변형을 정의하고 비교한다.
• 회귀를 사용하여 f*(X)와 Q*(X)를 추정하고 잔차 기반 시나리오를 c(z, f-hat(X) + Q-hat(X)ε-hat)의 프로젝션으로 구성한다.
• Y-지원으로의 프로젝션을 도입하여 실행 가능한 시나리오를 보장하고, 선택적 디노이징은 잭나이프 보정을 통해 논의한다.
• 완만한 가정 아래 수렴, 속도 및 유한 샘플 보장을 분석하고 실행 예로 두단계 LP를 다룬다.
• 파라메트릭, 비파라메트릭, 준파라메트릭 회귀 기법(예: OLS, Lasso, kNN, RF)을 사용하는 데에 유연성을 보여준다.

실험 결과

연구 질문

• RQ1 공변량 정보를 어떻게 사용하여 조건부 확률 프로그램 해를 근사할 수 있는가?
• RQ2 ER-SAA와 그 잭나이프 변형이 언제 점근적 최적이고 일관된 해를 산출하는가?
• RQ3 데이터 기반 SAA에서 공변량과 함께 수렴 속도 및 유한 샘플 보장은 무엇인가?
• RQ4 파라메트릭 회귀와 비파라메트릭 회귀 선택은 이론적 보장과 실무 성능에 어떤 영향을 미치는가?
• RQ5 프레임워크가 이질분산 오차 구조를 수용하고도 해결 가능한 해를 제공할 수 있는가?

주요 결과

• ER-SAA는 완만한 가정 하에서 점근적 최적성과 수렴 보장을 달성한다.
• Leave-one-out 잔차 변형(J-SAA 및 J+-SAA)은 소표본에서의 성능 향상을 제안한다.
• 이 프레임워크는 OLS, Lasso, kNN, RF를 포함한 광범위한 예측 모델을 지원하며 이질분산 고려를 포함한다.
• Y-지원으로의 프로젝션은 시나리오를 실행 가능하게 유지하면서 이론적 보장을 해치지 않는다.
• 경험적 실험은 이론적 결과를 확인하고 모델 잘못 가정이 있을 때도 기존 접근법보다 이득을 보여준다.