[논문 리뷰] Confidence Regions in Wasserstein Distributionally Robust Estimation

José Blanchet, Karthyek Murthy외 1명|arXiv (Cornell University)|2019. 06. 04.

Risk and Portfolio Optimization참고 문헌 14인용 수 10

한 줄 요약

이 논문은 워샤프스키 분포로 불확실성에 대한 저항성을 갖는 추정기의 渐近 정규성을 확립하고, 최소-최대 저항 최적화 프레임워크 하에서 최적의 신뢰 영역을 도출한다. 이는 이러한 추정기가 손실 함수의 도함수를 기반으로 정규화를 수행하며, 일반 조건 하에서 최소-최대와 최대-최소 공식화 간의 동치성을 증명함으로써 분포 불확실성과 함께 저항성 있는 학습을 위한 빈도주의 기반을 제공한다.

ABSTRACT

Wasserstein distributionally robust optimization estimators are obtained as solutions of min-max problems in which the statistician selects a parameter minimizing the worst-case loss among all probability models within a certain distance (in a Wasserstein sense) from the underlying empirical measure. While motivated by the need to identify optimal model parameters or decision choices that are robust to model misspecification, these distributionally robust estimators recover a wide range of regularized estimators, including square-root lasso and support vector machines, among others, as particular cases. This paper studies the asymptotic normality of these distributionally robust estimators as well as the properties of an optimal (in a suitable sense) confidence region induced by the Wasserstein distributionally robust optimization formulation. In addition, key properties of min-max distributionally robust optimization problems are also studied, for example, we show that distributionally robust estimators regularize the loss based on its derivative and we also derive general sufficient conditions which show the equivalence between the min-max distributionally robust optimization problem and the corresponding max-min formulation.

연구 동기 및 목표

• 워샤프스키 불확실성 집합에서 유도된 분포로 불확실성에 대한 저항성을 갖는 추정기의 渐近 정규성을 확립하기 위해.
• 분포로 불확실성 최적화 프레임워크 하에서 빈도주의 관점에서 최적의 성질을 갖는 신뢰 영역의 성질을 기술하기 위해.
• 최소-최대 분포로 불확실성 최적화 문제의 구조적 성질을 조사하기 위해, 특히 최소-최대와 최대-최소 공식화 간의 동치성 포함.
• 분포로 불확실성 추정기가 손실 함수의 도함수를 기반으로 암묵적으로 정규화한다는 것을 보여주기 위해.
• 모델의 잘못된 특정화를 워샤프스키 거리 제약 조건을 통해 반영하는 데 이르는 강력한 통계적 추정의 이론적 기반을 제공하기 위해.

제안 방법

• empirical measure 주위의 워샤프스키 반경 δ 내의 모든 확률 측도에 대해 최악의 기대 손실을 최소화하는 방식으로 분포로 불확실성 추정기를 최소-최대 문제로 공식화한다.
• 불확실성 집합을 정의하기 위해 2차 워샤프스키 거리를 사용하여, 경험 분포에 대한 미세한 변화에 대한 저항성을 확보한다.
• 일阶 전개와 마틴갈 중심극한정리 기법을 적용하여 추정기의 渐近 분포를 도출한다.
• 손실 함수와 그 도함수의 연속성 및 유계성 등의 미약한 정규성 조건 하에서 최소-최대와 최대-최소 공식화 간의 동치성을 확립한다.
• 정규화된 추정기의 한계 확률 과정을 유도하고, 균일한 강도 및 연속성 논증을 통해 분포 수렴을 증명한다.
• 집중 불등식과 강한 대수법칙을 활용하여 경험 과정의 행동을 통제하고 균일 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 워샤프스키 분포로 불확실성 추정기가 어떤 조건 하에서 渐近 정규성을 갖는가?
• RQ2 분포로 불확실성 최적화 공식화에 의해 유도된 최적의 신뢰 영역의 구조는 무엇인가?
• RQ3 분포로 불확실성 추정기는 손실 함수를 어떻게 정규화하며, 손실 함수의 도함수는 이 정규화 과정에서 어떤 역할을 하는가?
• RQ4 최소-최대 분포로 불확실성 최적화 문제가 언제 자신의 최대-최소 동반자와 동치가 되는가?
• RQ5 분포 불확실성 하에서 경험 위험 최소화 추정기의 유한 표본 및 渐近 성질은 무엇인가?

주요 결과

• 정규성 조건 하에서 워샤프스키 분포로 불확실성 추정기는 渐 asymptotic 정규성을 갖는다. 이는 진짜 매개변수 중심이며, 피셔 정보 행렬의 역행렬로 스케일 조정된 분포이다.
• 분포로 불확실성 최적화 공식화에 의해 유도된 최적의 신뢰 영역은 渐 asymptotic으로 표준 신뢰 영역과 동치이지만, 저항성 있는 분산-공분산 조정이 적용된다.
• 분포로 불확실성 추정기는 손실 함수의 그라디언트의 L2 노름을 기반으로 암묵적으로 정규화한다. 즉, 정규화 항은 손실 함수 도함수의 기대 제곱 노름에 비례한다.
• 손실 함수와 그 도함수의 연속성, 그리고 편차 집합의 유계성 등의 미약한 조건 하에서 최소-최대 문제와 최대-최소 문제 간에 동치성이 성립한다.
• 정규화된 추정기의 한계 과정은 가우시안 과정으로 분포 수렴하며, 이는 컴acts 매개변수 집합 위에서 균일하게 성립한다.
• 저항 공식화로부터 도출된 신뢰 영역은 모형의 잘못된 특정화에 대해 저항성이 있으며, 진짜 분포의 국소적 변화에 대해서도 커버리지 확률을 유지한다.