[논문 리뷰] Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality

Rui Gao|arXiv (Cornell University)|2020. 09. 09.

Risk and Portfolio Optimization인용 수 4

한 줄 요약

이 논문은 차원의 극복 문제 없이 워샤르슈타인 분포로 불안정한 최적화(DRO)에 대한 최초의 유한 표본 성능 보장을 수립한다. 손실 변화를 바탕으로 한 새로운 농도 불등식과 국소화된 라데마처 복잡도 이론을 도입하여, 적절히 선택된 반경을 통해 워샤르슈타인 DRO가 경험 손실과 손실 정규화를 균형 있게 조절함으로써 고차원 환경에서도 강건한 일반화를 보장함을 보여준다.

ABSTRACT

Wasserstein distributionally robust optimization (DRO) aims to find robust and generalizable solutions by hedging against data perturbations in Wasserstein distance. Despite its recent empirical success in operations research and machine learning, existing performance guarantees for generic loss functions are either overly conservative due to the curse of dimensionality, or plausible only in large sample asymptotics. In this paper, we develop a non-asymptotic framework for analyzing the out-of-sample performance for Wasserstein robust learning and the generalization bound for its related Lipschitz and gradient regularization problems. To the best of our knowledge, this gives the first finite-sample guarantee for generic Wasserstein DRO problems without suffering from the curse of dimensionality. Our results highlight that Wasserstein DRO, with a properly chosen radius, balances between the empirical mean of the loss and the variation of the loss, measured by the Lipschitz norm or the gradient norm of the loss. Our analysis is based on two novel methodological developments that are of independent interest: 1) a new concentration inequality controlling the decay rate of large deviation probabilities by the variation of the loss and, 2) a localized Rademacher complexity theory based on the variation of the loss.

연구 동기 및 목표

• 고차원성으로 인해 과도하게 보수적인 성능 보장이 아닌, 워샤르슈타인 DRO에 대한 유한 표본 성능 보장의 부족을 해결하기 위해.
• 워샤르슈타인 강건 학습에서 표본 외 성능을 분석하기 위한 비점근적 프레임워크를 개발하기 위해.
• 워샤르슈타인 DRO와 연결된 리프시츠 및 기울기 정규화 문제에 대한 일반화 경계를 수립하기 위해.
• 손실 변화를 활용하여 분포로 불안정한 최적화에서 차원의 극복 문제를 극복하기 위해.

제안 방법

• 손실 함수의 변화를 기반으로 한 대규모 이탈 확률을 제어하는 새로운 농도 불등식을 도입하기 위해.
• 손실의 리프시츠 또는 기울기 노름에 기반한 국소화된 라데마처 복잡도 이론을 개발하기 위해.
• 워샤르슈타인 DRO를 경험 위험과 손실의 변화로 측정된 손실 정규화 사이의 트레이드오프로 공식화하기 위해.
• 손실의 변화를 사용하여 국소화된 복잡도 측정 기준을 정의함으로써 표본 효율성을 향상시키기 위해.
• 손실의 내재적 정규성에 따라 스케일링되며, 환경 차원에 따라 악화되지 않는 유한 표본 경계를 수립하기 위해.
• 손실 함수의 약한 정규성 조건 하에서 데이터 차원에 의존하지 않는 일반화 경계를 유도하기 위해.

실험 결과

연구 질문

• RQ1 차원의 극복 문제 없이 워샤르슈타인 DRO에 대한 유한 표본 보장을 수립할 수 있는가?
• RQ2 워샤르슈타인 반경의 선택이 경험 위험과 손실 변화 사이의 균형에 어떻게 영향을 미치는가?
• RQ3 손실 변화를 기반으로 한 새로운 농도 불등식이 분포로 불안정한 학습에서 일반화 경계를 향상시킬 수 있는가?
• RQ4 손실 변화를 기반으로 한 국소화된 라데마처 복잡도는 DRO에서 표본 효율성을 얼마나 향상시킬 수 있는가?
• RQ5 유한 표본을 사용할 때 고차원 환경에서도 워샤르슈타인 DRO로 강건한 일반화를 달성할 수 있는가?

주요 결과

• 논문은 증가하는 차원에 따라 악화되지 않는 일반 워샤르슈타인 DRO 문제에 대해 최초의 유한 표본 일반화 경계를 제공한다.
• 제안된 농도 불등식은 손실의 변화를 사용하여 대규모 이탈 확률을 제어함으로써 더 날카운 차원 독립 경계를 이끌어낸다.
• 국소화된 라데마처 복잡도는 손실 변화를 통해 정의되며, 문제의 내재적 복잡도를 반영하는 더 날카운 일반화 경계를 가능하게 한다.
• 최적 반경을 가진 워샤르슈타인 DRO는 경험 손실과 손실 정규화(리프시츠 또는 기울기 노름으로 측정) 사이의 효과적인 트레이드오프를 실현한다.
• 이 프레임워크는 고차원 환경에서 강건성과 일반화를 보장하며, 전통적인 DRO에서의 차원의 극복 문제를 극복한다.
• 이론적 결과는 유한 표본과 임의의 데이터 분포에 대해 유효한 점근적이지 않은 분석을 통해 검증된다.