[논문 리뷰] Wasserstein Distributional Robustness and Regularization in Statistical Learning.

Rui Gao, Xi Chen외 1명|arXiv (Cornell University)|2017. 12. 17.

Risk and Portfolio Optimization참고 문헌 48인용 수 89

한 줄 요약

이 논문은 통계학적 학습에서 일반화를 향상시키기 위해 워샤르슈타인 거리(Wasserstein distance)를 사용하는 분포로 보수적인 최적화 프레임워크를 제안한다. 이는 워샤르슈타인 분포로 보수성과 기울기 노름 페널티(regularization with a gradient-norm penalty)가 渐近적으로 동일하다는 것을 입증하며, 고차원이며 비볼록 문제, 특히 워샤르슈타인 GANs를 통한 딥 러닝에 있어서도 원칙적인 접근법을 제공한다.

ABSTRACT

A central question in statistical learning is to design algorithms that not only perform well on training data, but also generalize to new and unseen data. In this paper, we tackle this question by formulating a distributionally robust stochastic optimization (DRSO) problem, which seeks a solution that minimizes the worst-case expected loss over a family of distributions that are close to the empirical distribution in Wasserstein distances. We establish a connection between such Wasserstein DRSO and regularization. More precisely, we identify a broad class of loss functions, for which the Wasserstein DRSO is asymptotically equivalent to a regularization problem with a gradient-norm penalty. Such relation provides new interpretations for problems involving regularization, including a great number of statistical learning problems and discrete choice models (e.g. multinomial logit). The connection suggests a principled way to regularize high-dimensional, non-convex problems. This is demonstrated through the training of Wasserstein generative adversarial networks in deep learning.

연구 동기 및 목표

• 학습 데이터를 초월한 통계적 학습에서의 일반화 문제를 다루기 위해.
• 분포 불확실성 하에서 강인 최적화를 위한 원칙적인 프레임워크를 개발하기 위해.
• 분포로 보수적인 최적화와 정규화 사이의 이론적 연결을 수립하기 위해.
• 다항 로지스틱 회귀 및 딥 네URAL 네트워크와 같은 모델에서 정규화의 새로운 해석을 제공하기 위해.
• 이 프레임워크가 딥 러닝, 특히 워샤르슈타인 GANs 학습에서 실용적으로 유용한지를 보여주기 위해.

제안 방법

• 실제 분포를 중심으로 하는 워샤르슈타인 볼 내의 분포들에 대해 최악의 기대 손실을 최소화하는 분포로 보수적인 확률적 최적화(DRSO) 문제를 수립한다.
• DRSO 문제가 기울기 노름 페널티를 포함한 정규화 문제와 渐近적으로 동일한 광범위한 손실 함수의 클래스를 규명한다.
• 최적 운반 이론과 경험 과정 이론의 도구를 사용하여 DRSO와 정규화 사이의 渐近적 동등성을 유도한다.
• 딥 러닝에 이 이론적 프레임워크를 적용하여 워샤르슈타인 GANs 학습에서의 관련성을 보여준다.
• 분포로 보수적인 워샤르슈타인 DRSO가 고차원 비볼록 설정에서 암묵적인 정규화를 자연스럽게 이끌어낸다는 것을 입증한다.
• 기존의 정규화 기법들이 워샤르슈타인 거리 기반 분포로 보수성 하에서 유래한다는 통합적인 시각을 제공한다.

실험 결과

연구 질문

• RQ1 워샤르슈타인 거리 기반 분포로 보수성은 통계적 학습에서 일반화를 어떻게 향상시킬 수 있는가?
• RQ2 분포로 보수적인 최적화와 정규화 사이의 이론적 연결은 무엇인가?
• RQ3 어떤 손실 함수의 클래스에서 워샤르슈타인 거리 기반 분포로 보수성이 기울기 노름 정규화로 이어지는가?
• RQ4 이 프레임워크는 다항 로지스틱 회귀 및 딥 네URAL 네트워크와 같은 비볼록 고차원 문제에 적용될 수 있는가?
• RQ5 이 방법은 워샤르슈타인 GANs와 같은 생성 모델링에서 학습 안정성과 성능을 어떻게 향상시키는가?

주요 결과

• 광범위한 손실 함수의 클래스에 대해 워샤르슈타인 DRSO 문제와 기울기 노름 페널티를 포함한 정규화 문제 사이에 渐近적 동등성이 존재한다.
• 이 동등성은 정규화가 워샤르슈타인 거리 기반 분포로 보수성의 한 형태로 해석될 수 있음을 원칙적으로 제공한다.
• 이 프레임워크는 다항 로지스틱 회귀와 같은 이산 선택 모델에서 정규화를 이해하고 설계하는 데 새로운 이론적 기반을 제공한다.
• 이 방법은 암묵적으로 모델의 기울기 행동을 정규화함으로써 고차원 비볼록 문제에서 강인한 일반화를 가능하게 한다.
• 워샤르슈타인 GANs 학습에서의 실증 결과를 통해 딥 러닝에서 학습 안정성과 성능이 향상됨을 입증한다.
• 이론적 결과는 워샤르슈타인 거리 기반 분포로 보수성이 자연스럽게 정규화를 유도하며, 이는 모델의 일반화를 향상시킨다는 것을 시사한다.