[논문 리뷰] A General Framework for Optimal Data-Driven Optimization

Tobias Sutter, Bart P. G. Van Parys외 1명|arXiv (Cornell University)|2021. 02. 22.

Risk and Portfolio Optimization참고 문헌 47인용 수 12

한 줄 요약

이 논문은 확률적 최적화에서 데이터 기반 의사결정을 위한 통계적으로 최적의 프레임워크를 제안한다. 결정을 분포로 안정적인 최적화(DRO) 모델의 해로 공식화함으로써, 매개수 불확실성 집합이 대칭 통계량을 만족하고 대규모 편차 원리에 따라 작용할 경우, 비독립 동일분포(i.i.d.)가 아닐지라도, 외부 표본 위험을 최소화하면서 실망을 제한하는 최적의 데이터 기반 의사결정이 존재함을 증명한다.

ABSTRACT

We propose a statistically optimal approach to construct data-driven decisions for stochastic optimization problems. Fundamentally, a data-driven decision is simply a function that maps the available training data to a feasible action. It can always be expressed as the minimizer of a surrogate optimization model constructed from the data. The quality of a data-driven decision is measured by its out-of-sample risk. An additional quality measure is its out-of-sample disappointment, which we define as the probability that the out-of-sample risk exceeds the optimal value of the surrogate optimization model. An ideal data-driven decision should minimize the out-of-sample risk simultaneously with respect to every conceivable probability measure as the true measure is unkown. Unfortunately, such ideal data-driven decisions are generally unavailable. This prompts us to seek data-driven decisions that minimize the out-of-sample risk subject to an upper bound on the out-of-sample disappointment. We prove that such Pareto-dominant data-driven decisions exist under conditions that allow for interesting applications: the unknown data-generating probability measure must belong to a parametric ambiguity set, and the corresponding parameters must admit a sufficient statistic that satisfies a large deviation principle. We can further prove that the surrogate optimization model must be a distributionally robust optimization problem constructed from the sufficient statistic and the rate function of its large deviation principle. Hence the optimal method for mapping data to decisions is to solve a distributionally robust optimization model. Maybe surprisingly, this result holds even when the training data is non-i.i.d. Our analysis reveals how the structural properties of the data-generating stochastic process impact the shape of the ambiguity set underlying the optimal distributionally robust model.

연구 동기 및 목표

• 모른 진짜 확률 측도 하에서 스토하스틱 최적화의 데이터 기반 의사결정을 구성하기 위한 통계적으로 최적의 방법을 개발하기 위해.
• 진짜 데이터 생성 분포가 알려지지 않았을 때, 외부 표본 위험과 외부 표본 실망을 균형 잡는 문제를 해결하기 위해.
• 모든 가능성 있는 분포에서 강건한 성능을 보장하는 파레토 우월한 데이터 기반 의사결정이 존재하는 조건을 규명하기 위해.
• 최적의 의사결정 규칙의 구조적 형태를 규명하여, 이가 반드시 분포로 안정적인 최적화 모델에서 유래되어야 한다고 보여주기 위해.
• 스토하스틱 과정의 구조를 불확실성 집합의 형태와 연결함으로써, 비i.i.i.d. 데이터로의 이 프레임워크를 확장하기 위해.

제안 방법

• 학습 데이터에서 실행 가능 행동으로의 사전 결정 함수로 데이터 기반 의사결정을 수식화하고, 외부 표본 위험과 실망으로 품질을 측정하기 위해.
• 외부 표본 실망을 위험 값이 서브로게이션 모델의 최적 값 이상이 되는 확률로 정의하여, 위험 제약 조건으로 사용하기 위해.
• 강건성을 확보하기 위해 실망에 제약 조건을 도입함으로써, 알려지지 않은 확률 측도에 대한 파레토 최적 문제로 이어지게 하기 위해.
• 진짜 데이터 생성 측도가 대칭 통계량이 대규모 편차 원리를 만족하는 매개수 불확실성 집합에 포함된다고 가정하기 위해.
• 대칭 통계량과 대규모 편차 원리의 비용 함수를 사용하여 최적의 서브로게이션 모델이 반드시 분포로 안정적인 최적화 문제여야 한다고 유도하기 위해.
• 학습 데이터가 비i.i.d.일지라도 최적의 의사결정 규칙이 이 DRO 모델을 풀어 얻어진다고 증명하기 위해.

실험 결과

연구 질문

• RQ1 진짜 데이터 생성 측도가 매개수 불확실성 집합에 포함되고 대칭 통계량이 대규모 편차 원리를 만족할 조건에서, 모든 알려지지 않은 진짜 분포에 대해 동시에 외부 표본 위험을 최소화하고 실망을 통제하는 데이터 기반 의사결정이 존재하는가?
• RQ2 기본적인 스토하스틱 과정의 구조가 최적의 데이터 기반 의사결정 모델에서 불확실성 집합의 형태에 어떻게 영향을 미치는가?
• RQ3 데이터가 비i.i.d.일 경우에도 최적의 데이터 기반 의사결정이 분포로 안정적인 최적화 문제의 해로 특징지어질 수 있는가?
• RQ4 대규모 편차 원리는 최종 의사결정 규칙의 존재성과 최적성 보장에 어떤 역할을 하는가?
• RQ5 대규모 편차 원리의 대칭 통계량과 비용 함수가 최적의 DRO 모델을 어떻게 형성하는가?

주요 결과

• 진짜 데이터 생성 측도가 대칭 통계량이 대규모 편차 원리를 만족하는 매개수 불확실성 집합에 포함될 경우, 파레토 우월한 데이터 기반 의사결정이 존재한다.
• 최적의 데이터 기반 의사결정은 항상 대칭 통계량과 대규모 편차 원리의 비용 함수로부터 구성된 분포로 안정적인 최적화 문제의 해이다.
• 기본적인 스토하스틱 과정이 대칭 통계량과 대규모 편차 원리를 만족할 경우, 학습 데이터가 비i.i.d.일지라도 이 프레임워크는 여전히 유효하다.
• 데이터 생성 과정의 구조적 성질이 최적 DRO 모델의 불확실성 집합의 형태를 직접적으로 결정한다.
• 외부 표본 실망은 구성 과정에서 제한되어 있어, 분포 이동에 대한 강건성을 보장한다.
• 최적의 의사결정 규칙은 불확실성 집합 내에서 최악의 외부 표본 위험을 최소화하여, 주어진 제약 조건 하에서 통계적 최적성을 달성한다.