[논문 리뷰] Estimate-Then-Optimize versus Integrated-Estimation-Optimization versus Sample Average Approximation: A Stochastic Dominance Perspective

Adam N. Elmachtoub, Henry Lam외 2명|arXiv (Cornell University)|2023. 04. 13.

Advanced Bandit Algorithms Research인용 수 4

한 줄 요약

이 논문은 데이터 기반 확률적 최적화에서 추정-다음에 최적화(ETO), 통합 추정-최적화(IEO), 표본 평균 근사(SAA)를 비교한다. 회귀의 일차 확률적 지배를 사용하여, 모형이 잘 지정되어 있고 데이터가 충분할 경우 ETO가 점점 더 IEO를 지배하고, IEO가 SAA를 지배함을 보이며, 이는 일반적으로 모형이 잘못 지정된 경우의 성능 순서를 뒤집는다.

ABSTRACT

In data-driven stochastic optimization, model parameters of the underlying distribution need to be estimated from data in addition to the optimization task. Recent literature considers integrating the estimation and optimization processes by selecting model parameters that lead to the best empirical objective performance. This integrated approach, which we call integrated-estimation-optimization (IEO), can be readily shown to outperform simple estimate-then-optimize (ETO) when the model is misspecified. In this paper, we show that a reverse behavior appears when the model class is well-specified and there is sufficient data. Specifically, for a general class of nonlinear stochastic optimization problems, we show that simple ETO outperforms IEO asymptotically when the model class covers the ground truth, in the strong sense of stochastic dominance of the regret. Namely, the entire distribution of the regret, not only its mean or other moments, is always better for ETO compared to IEO. Our results also apply to constrained, contextual optimization problems where the decision depends on observed features. Whenever applicable, we also demonstrate how standard sample average approximation (SAA) performs the worst when the model class is well-specified in terms of regret, and best when it is misspecified. Finally, we provide experimental results to support our theoretical comparisons and illustrate when our insights hold in finite-sample regimes and under various degrees of misspecification.

연구 동기 및 목표

• 모형이 잘 지정된 조건에서 데이터 기반 확률적 최적화에서 ETO, IEO, SAA를 이론적으로 비교하는 것.
• 모형 클래스가 진짜 분포를 포함할 때 IEO의 계산 비용이 성능 향상으로 인해 정당화되는지 조사하는 것.
• 해결책의 품질이 모멘트를 넘어서는 바탕으로, 각 방법의 점점 더 큰 회귀 분포를 확률적 지배를 통해 분석하는 것.
• 더 단순한 ETO가 더 복잡한 IEO를 능가할 수 있는 조건, 특히 맥락적 및 제약 조건이 있는 최적화에서 명확히 하는 것.
• 회귀의 분포 수준에서 데이터 기반 최적화 방법을 비교하기 위한 체계적인 통계 프레임워크를 제공하는 것.

제안 방법

• 평균이나 분산이 아닌, ETO, IEO, SAA 간의 전체 회귀 분포를 비교하기 위해 일차 확률적 지배를 사용한다.
• 회귀를 진짜 분포 하에서 데이터 기반 해와 진짜 최적 해 사이의 최적성 간격으로 분석한다.
• 모형 클래스가 진짜 분포를 포함하고 충분한 데이터가 가용할 때 점점 더 큰 분석을 적용한다.
• IEO의 경험적 성능을 최적화하도록 설계되었음에도 불구하고, ETO가 회귀 분포에서 IEO를 확률적으로 지배할 수 있는 이론적 조건을 유도한다.
• 제약 조건이 있고 맥락이 있는 최적화 문제로 결과를 확장하며, 제약 조건의 조건 및 점점 더 큰 정규성에 대한 추가 가정이 필요하다.
• SAA를 ETO와 IEO와 비교하여, 모형이 잘 지정된 조건에서는 SAA가 가장 열 劣하지만, 모형이 잘못 지정된 조건에서는 가장 우수하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 모형이 잘 지정된 조건에서 ETO가 회귀 분포에서 IEO를 확률적으로 지배하는 조건는 무엇인가?
• RQ2 모형이 잘 지정된 경우와 잘못 지정된 경우에서 ETO, IEO, SAA의 성능 순위는 어떻게 변화하는가?
• RQ3 대규모, 잘 지정된 설정에서 통합 추정-최적화(IEO) 접근법이 ETO보다 의미 있는 이점을 제공하는가?
• RQ4 모형이 잘 지정된 조건에서 SAA는 ETO와 IEO와 비교해 회귀 분포 측면에서 어떻게 비교되는가?
• RQ5 이러한 회귀 기반 비교의 결과는 실무에서 계산이 간단한 ETO와 더 복잡한 IEO 사이의 선택에 어떤 함의를 갖는가?

주요 결과

• 모형 클래스가 진짜 분포를 포함하고 데이터가 충분할 경우, ETO는 점점 더 큰 회귀 분포에서 IEO를 점점 더 지배한다.
• 모형이 잘 지정된 조건에서는 IEO가 SAA를 확률적으로 지배하며, 일반적으로 SAA가 선호되는 것과는 뒤집힌 전형적인 성능 순서를 뒤집는다.
• 이 지배는 강력하다—즉, ETO의 전체 누적 회귀 분포가 IEO보다 더 우수하며, 이는 모든 분위수에서 더 좋은 일반화 성능을 의미한다.
• 이 지배는 표준 정규 조건 하에서 제약 조건이 없는 경우와 제약 조건이 있는 맥락 최적화 문제 모두에 적용된다.
• 유한 표본에서는 중간 정도의 잘못 지정된 경우에 이론적 지배가 ETO가 IEO를 능가하는 데 유지되지만, 잘못 지정된 정도가 증가함에 따라 붕괴된다.
• 모형이 잘 지정된 조건에서는 SAA가 회귀 측면에서 가장 열 劣하지만, 모형이 잘못 지정된 조건에서는 최적의 성능을 보이며, 이는 근본적인 상충관계를 드러낸다.