[논문 리뷰] Distributionally Robust Stochastic Optimization with Wasserstein Distance

Rui Gao, Anton J. Kleywegt|arXiv (Cornell University)|2016. 04. 08.

Risk and Portfolio Optimization인용 수 97

한 줄 요약

이 논문은 워샤프스키 거리(Wasserstein distance)를 사용하여 불확실성 집합(ambiguity set)을 정의하는 분포로 불확실성(stochastic) 최적화 프레임워크를 제안한다. 이는 계산 가능하고 해석 가능한 최악의 경우 분포 추정을 가능하게 한다. 제안된 minmax 문제에 대해 강한 이중성(duality)을 확립하고, 데이터 기반 DRSO가 강건 최적화로 근사 가능하다는 것을 보여주며, 일반적인 목적 함수의 성장률 조건 하에서 일阶 최적성 조건을 통해 최악의 경우 분포를 명시적으로 유도한다.

ABSTRACT

Distributionally robust stochastic optimization (DRSO) is an approach to optimization under uncertainty in which, instead of assuming that there is a known true underlying probability distribution, one hedges against a chosen set of distributions. In this paper we first point out that the set of distributions should be chosen to be appropriate for the application at hand, and that some of the choices that have been popular until recently are, for many applications, not good choices. We next consider sets of distributions that are within a chosen Wasserstein distance from a nominal distribution. Such a choice of sets has two advantages: (1) The resulting distributions hedged against are more reasonable than those resulting from other popular choices of sets. (2) The problem of determining the worst-case expectation over the resulting set of distributions has desirable tractability properties. We derive a strong duality reformulation of the corresponding DRSO problem and construct approximate worst-case distributions explicitly via the first-order optimality conditions of the dual problem. Our contributions are four-fold. (i) We identify necessary and sufficient conditions for the existence of a worst-case distribution, which are naturally related to the growth rate of the objective function. (ii) We show that the worst-case distributions resulting from an appropriate Wasserstein distance have a concise structure and a clear interpretation. (iii) Using this structure, we show that data-driven DRSO problems can be approximated to any accuracy by robust optimization problems, and thereby many DRSO problems become tractable by using tools from robust optimization. (iv) Our strong duality result holds in a very general setting. As examples, we show that it can be applied to infinite-dimensional process control and intensity estimation for point processes.

연구 동기 및 목표

• 기존의 모멘트 제약 조건에 기반한 불확실성 집합이 최악의 경우 분포를 너무 보수적이거나 비현실적으로 만들 수 있는 문제점을 해결하기 위해.
• 데이터 기반 불확실성을 더 잘 반영하고 더 합리적인 최악의 경우 분포를 도출할 수 있는 워샤프스키 거리 기반 불확실성 집합을 제안하기 위해.
• 일반적인 설정에서 유도된 DRSO 문제에 대해 강한 이중성을 확립하여 계산 가능한 재구성(reformulation)을 가능하게 하기 위해.
• 일阶 최적성 조건을 사용하여 최악의 경우 분포를 명시적으로 구성함으로써, 명확한 해석 가능성과 계산 가능성을 확보하기 위해.
• 이 프레임워크가 프로세스 제어 및 포인트 프로세스 강도 추정과 같은 무한차원 문제에 적용 가능한지를 보여주기 위해.

제안 방법

• 명목 분포 ν를 중심으로 하는 반경 θ인 워샤프스키 볼을 사용하여 불확실성 집합을 정의함으로써, 메트릭 공간에서 분포들이 가까이 있도록 보장한다.
• DRSO 문제의 강한 이중성 재구성을 유도하여, minmax 문제를 최적화에 적합한 이중 형태로 변환한다.
• 이중 문제의 일阶 최적성 조건을 풀어 최악의 경우 분포를 명시적으로 구성함으로써 명확한 구조적 형태를 도출한다.
• 워샤프스키 거리의 성질과 이중 표현을 활용하여 무한차원 설정에 프레임워크를 적용한다.
• Bolley 등 [13]의 농도 불등식을 사용하여 경험 데이터 기반으로 워샤프스키 반경 θ를 선택함으로써, 진짜 분포가 높은 확률로 불확실성 집합 내에 포함되도록 보장한다.
• 데이터 기반 DRSO 문제들이 기존의 강건 최적화 도구를 사용할 수 있도록, 임의의 정밀도로 강건 최적화 문제로 근사 가능하다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 워샤프스키 기반 DRSO 프레임워크에서 최악의 경우 분포가 존재하기 위한 필요 및 충분 조건은 무엇인가?
• RQ2 불확실성 집합이 워샤프스키 볼로 정의될 때, 최악의 경우 분포를 어떻게 명시적으로 구성할 수 있는가?
• RQ3 워샤프스키 불확실성 집합 하에서 도출된 최악의 경우 분포의 구조적 형태와 해석 가능성은 어떠한가?
• RQ4 데이터 기반 DRSO 문제들은 강건 최적화 문제로 근사 가능할 수 있으며, 만약 가능하다면 어떤 정밀도로 근사 가능한가?
• RQ5 경험 데이터를 사용하여 워샤프스키 볼의 반경 θ를 통계적으로 타당한 방식으로 어떻게 선택할 수 있는가?

주요 결과

• 최악의 경우 분포의 존재는 목적 함수가 무한대에서 충분히 빠르게 증가할 경우에만 보장되며, 이는 함수의 성장률과 직접적으로 연결된 필요 및 충분 조건이다.
• 워샤프스키 불확실성 집합에서 유도된 최악의 경우 분포는 간결하고 해석 가능한 구조를 가진다: 명목 분포에서 최악의 꼬리로 질량을 이동시키며, 최적성 조건을 통해 명시적인 공식이 도출된다.
• 선형 목적 함수의 경우, 최악의 경우 분포는 μ_t^q로 명시적으로 구성되며, 여기서 t = VaR_α^ν[-w^Tξ]이며, 최악의 경우 VaR는 워샤프스키 거리와 관련된 적분 방정식의 유일한 해이다.
• 워샤프스키 불확실성 집합을 가진 DRSO 문제는 임의의 정밀도로 강건 최적화 문제로 근사 가능하므로, 기존의 강건 최적화 도구를 사용하여 많은 DRSO 문제를 계산 가능하게 한다.
• 경험 워샤프스키 거리에 대한 농도 불등식을 유도하여, 진짜 분포가 높은 확률(예: 95% 신뢰수준)로 불확실성 집합 내에 포함되도록 반경 θ를 데이터 기반으로 선택할 수 있다.