[논문 리뷰] Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning

Daniel Kühn, Peyman Mohajerin Esfahani외 2명|arXiv (Cornell University)|2019. 08. 23.

Probabilistic and Robust Engineering Design참고 문헌 109인용 수 17

한 줄 요약

이 논문은 관측된 데이터의 경험적 분포 주변에 애매함 집합을 정의하기 위해 워샤프스키 거리(Wasserstein distance)를 사용하는 데이터 기반의 불확실성 하에서의 의사결정을 위한 프레임워크인 워샤프스키 분포로 부터의 강건 최적화(WDRO)를 제안한다. WDRO가 강력한 외부 샘플 성능 보장을 갖는 해석 가능한 볼록 최적화 문제를 이끌어내며 기계학습에서 새로운 정규화 학습 방법을 가능하게 한다고 보여준다.

ABSTRACT

Many decision problems in science, engineering and economics are affected by uncertain parameters whose distribution is only indirectly observable through samples. The goal of data-driven decision-making is to learn a decision from finitely many training samples that will perform well on unseen test samples. This learning task is difficult even if all training and test samples are drawn from the same distribution -- especially if the dimension of the uncertainty is large relative to the training sample size. Wasserstein distributionally robust optimization seeks data-driven decisions that perform well under the most adverse distribution within a certain Wasserstein distance from a nominal distribution constructed from the training samples. In this tutorial we will argue that this approach has many conceptual and computational benefits. Most prominently, the optimal decisions can often be computed by solving tractable convex optimization problems, and they enjoy rigorous out-of-sample and asymptotic consistency guarantees. We will also show that Wasserstein distributionally robust optimization has interesting ramifications for statistical learning and motivates new approaches for fundamental learning tasks such as classification, regression, maximum likelihood estimation or minimum mean square error estimation, among others.

연구 동기 및 목표

• 진정한 랜덤 매개변수의 분포가 알려져 있지 않고 유한한 훈련 샘플을 통해만 관측 가능한 경우 의사결정 문제를 다루기 위해.
• 훈련 데이터와 테스트 데이터 간의 분포 이탈을 워샤프스키 거리로 정의된 애매함 집합을 통해 고려하는 강건 최적화 프레임워크를 개발하기 위해.
• WDRO 접근법을 통해 유도된 의사결정의 이론적 일致성과 외부 샘플 성능 보장을 제공하기 위해.
• 분류, 회귀, 추정과 같은 기초 기계학습 작업에 WDRO의 적용 가능성을 보여주기 위해.

제안 방법

• 관측된 데이터 포인트에 대한 이산 균일 측도를 사용하여 훈련 샘플에서 명목 경험적 분포를 구성하기 위해.
• 명목 분포로부터 특정 워샤프스키 거리 이내에 있는 확률 분포 집합을 정의하여 분포 불확실성을 모델링하기 위해.
• 애매함 집합 내 모든 분포에 대한 최악의 기대 손실을 최소화하는 최소-최대 최적화로 WDRO 문제를 공식화하기 위해.
• 코너지 듀얼리티와 지지 함수를 사용하여 WDRO 문제의 해석 가능한 볼록 재구성식을 유도하여 효율적인 계산을 가능하게 하기 위해.
• 워샤프스키 애매함 집합의 쌍대 표현을 활용하여 강건 최적화 문제를 정규화된 경험적 리스크 최소화 문제로 변환하기 위해.
• 새로운 정규화된 추정량을 도출하여 다양한 기계학습 작업에 이 프레임워크를 적용하기 위해. 이들 추정량은 강건성과 일치성 성질을 상속한다.

실험 결과

연구 질문

• RQ1 진정한 데이터 분포가 경험적 분포와 다를 경우에도 효과적인 의사결정 프레임워크를 어떻게 구성할 수 있는가?
• RQ2 WDRO로부터 도출된 의사결정의 이론적 일치성과 외부 샘플 성능 보장은 무엇인가?
• RQ3 최대우도추정 또는 최소평균제곱오차추정과 같은 전통적 방법과 비교할 때 WDRO는 강건성과 일반화 성능 측면에서 어떻게 다른가?
• RQ4 WDRO는 정규화 학습 문제로 재구성될 수 있는가? 그리고 그 결과로 도출되는 정규화 페널티 항은 무엇인가?
• RQ5 분류, 회귀, 밀도 추정과 같은 기초 학습 작업에 대해 WDRO는 어떤 함의를 갖는가?

주요 결과

• WDRO는 고차원 설정에서도 효율적으로 해결할 수 있는 해석 가능한 볼록 최적화 문제를 이끌어낸다.
• 약한 정규성 조건 하에서 WDRO로부터 유도된 최적 의사결정은 엄밀한 외부 샘플 및 점근적 일치 보장을 갖는다.
• WDRO 문제는 정규화된 경험적 리스크 최소화 문제로 재구성될 수 있으며, 이 경우 정규화 항은 워샤프스키 거리 기반의 페널티 항에 해당한다.
• 로지스틱 손실 또는 제곱 손실과 같은 특정 손실 함수에 대해 WDRO 공식화는 일반화 성능을 향상시키는 새로운 정규화된 추정량을 도출한다.
• 명목 분포의 추정 오차를 고려함으로써 최적화자의 저주를 체계적으로 완화하는 방법을 제공한다.
• 분포 불일치를 측정하기 위해 워샤프스키 거리를 사용함으로써, 표준 경험적 리스크 최소화에 비해 분류 및 회귀 작업에서 향상된 강건성을 달성한다.