[논문 리뷰] Residuals-based distributionally robust optimization with covariate information

Rohit Kannan, Güzi̇n Bayraksan외 1명|arXiv (Cornell University)|2020. 12. 02.

Risk and Portfolio Optimization인용 수 7

한 줄 요약

이 논문은 제한된 데이터 하에서 확률적 최적화에 공변량 정보와 기계학습 예측을 통합하는 잔차 기반 분포로 불확실성에 강건한 최적화(DRO) 프레임워크를 제안한다. 회귀 모델의 잔차를 중심으로 와서슈타인 거리 및 필라-분산 기반의 모호성 집합을 구성함으로써, 분포 불확실성에 대한 강건성을 확보하며, 특히 데이터가 부족한 상황이나 모델이 잘못 지정된 경우에도 뛰어난 외부 표본 성능을 달성한다.

ABSTRACT

We consider data-driven approaches that integrate a machine learning prediction model within distributionally robust optimization (DRO) given limited joint observations of uncertain parameters and covariates. Our framework is flexible in the sense that it can accommodate a variety of regression setups and DRO ambiguity sets. We investigate asymptotic and finite sample properties of solutions obtained using Wasserstein, sample robust optimization, and phi-divergence-based ambiguity sets within our DRO formulations, and explore cross-validation approaches for sizing these ambiguity sets. Through numerical experiments, we validate our theoretical results, study the effectiveness of our approaches for sizing ambiguity sets, and illustrate the benefits of our DRO formulations in the limited data regime even when the prediction model is misspecified.

연구 동기 및 목표

• 공변량과 불확실한 파라미터의 동시 관측이 제한된 상황에서 의사결정 문제를 해결하기 위해.
• 표준 SAA 방법이 성능을 발휘하지 못하는 소표본 영역에서 데이터 기반 확률적 최적화의 외부 표본 성능을 향상시키기 위해.
• 조건부 분포 샘플이 필요 없이 기계학습 예측을 통합할 수 있는 유연한 DRO 프레임워크를 개발하기 위해.
• 와서슈타인 거리 및 필라-분산 기반의 모호성 집합에 대해 수렴 속도와 유한 표본 성능에 대한 이론적 보장을 제공하기 위해.
• 조건부 분포 샘플이 없는 조건에서 교차검증을 활용한 데이터 기반 방법으로 모호성 집합 반경을 조정하기 위해.

제안 방법

• 공변량 $X$와 불확실한 파라미터 $Y$의 동시 관측 데이터를 기반으로 학습된 회귀 모델을 사용하여 잔차 기반의 표본 평균 근사(SAA) 설정을 수립한다.
• 와서슈타인 거리 또는 필라-분산을 사용하여 잔차의 경험적 분포를 중심으로 하는 모호성 집합을 정의함으로써 분포로 불확실성에 강건한 최적화(DRO) 설정을 수립한다.
• 와서슈타인 모호성 집합을 사용하여 $X=x$ 조건 하에서 $Y$의 추정된 조건부 분포를 중심으로 분포 불확실성을 모델링하며, 소규모 변형에 대한 강건성을 확보한다.
• 표본 강건 최적화(SRO) 및 필라-분산 기반 모호성 집합을 적용하여 잔차 분포의 모델 불확실성을 포괄한다.
• 조건부 분포 $Y|X=x$의 샘플이 필요 없이 교차검증 기반 알고리즘(예: 알고리즘 2)을 활용하여 모호성 집합 반경을 조정함으로써 실용적 구현을 가능하게 한다.
• 다양한 모호성 집합 구조 하에서 도출된 DRO 해에 대한 이론적 수렴 속도와 유한 표본 보장을 도출한다.

실험 결과

연구 질문

• RQ1 공변량과 불확실한 파라미터의 동시 관측이 제한된 상황에서 기계학습 예측을 어떻게 효과적으로 DRO에 통합할 수 있는가?
• RQ2 모호성 집합이 회귀 모델의 잔차를 기반으로 구성될 경우, DRO 해의 渐近적 및 유한 표본 성질은 어떠한가?
• RQ3 조건부 분포 샘플이 없는 조건에서 모호성 집합 반경을 어떻게 데이터 기반으로 조정할 수 있는가?
• RQ4 제안된 잔차 기반 DRO 프레임워크는 모델이 잘못 지정된 소표본 영역에서 표준 SAA 및 ER-SAA보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 모델 복잡도(예: 다항 회귀의 차수)는 도출된 DRO 해의 성능 및 강건성에 어떤 영향을 미치는가?

주요 결과

• 잔차 기반 DRO 설정은 특히 예측 모델이 잘못 지정된 경우, 표준 ER-SAA보다 제한된 데이터 영역에서 뚜렷이 뛰어난 성능을 보인다.
• $\theta=1$ 및 $\theta=0.5$의 경우, 와서슈타인-DRO 설정의 낙관적 편향은 표본 크기가 증가함에 따라 감소하며, 이는 해의 일관성이 향상됨을 시사한다.
• $\theta=2$의 경우, 모델의 잘못 지정으로 인해 낙관적 편향이 지속되며, 모호성 집합 반경이 0으로 수렴하지 않아, 나쁜 모델 적합도 하에서도 이 방법의 강건성이 뚜렷이 드러난다.
• 교차검증 기반으로 모호성 집합 반경을 조정하는 제안된 방법(예: 알고리즘 2)은 조건부 분포 샘플이 없이도 강건성과 성능 간의 균형을 효과적으로 확보한다.
• ER-DRO와 ER-SAA는 상호보완적이다: ER-DRO는 소표본에서 뛰어난 성능을 보이며, ER-SAA는 대표표본 환경에서 더 온건한 가정 하에서도 해석 가능성을 유지한다.
• 이론적 분석을 통해 제안된 DRO 설정이 와서슈타인 및 필라-분산 기반 모호성 집합 하에서 유리한 수렴 속도와 유한 표본 성능 보장을 확보함을 확인하였다.