[논문 리뷰] Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization

Yaodong Yu, Tianyi Lin외 2명|arXiv (Cornell University)|2021. 04. 27.

Risk and Portfolio Optimization참고 문헌 64인용 수 6

한 줄 요약

이 논문은 워샤르슈타인 거리 기반의 빠르고 확장 가능한 분포로 부터의 강건한 학습을 위한 분산 감소 확률적 초과그리디언 알고리즘—SEVR 및 SPPRR를 제안한다. 워샤르슈타인 DRSL을 부드럽고 유한합 형태의 최소-최대 문제로 재구성함으로써, 이 방법들은 기존의 접근 방식보다 더 빠른 수렴 속도를 달성하면서도 대규모 환경에서 분포 이격에 대한 강건성을 유지한다.

ABSTRACT

Distributionally robust supervised learning (DRSL) is emerging as a key paradigm for building reliable machine learning systems for real-world applications -- reflecting the need for classifiers and predictive models that are robust to the distribution shifts that arise from phenomena such as selection bias or nonstationarity. Existing algorithms for solving Wasserstein DRSL -- one of the most popular DRSL frameworks based around robustness to perturbations in the Wasserstein distance -- have serious limitations that limit their use in large-scale problems -- in particular they involve solving complex subproblems and they fail to make use of stochastic gradients. We revisit Wasserstein DRSL through the lens of min-max optimization and derive scalable and efficiently implementable stochastic extra-gradient algorithms which provably achieve faster convergence rates than existing approaches. We demonstrate their effectiveness on synthetic and real data when compared to existing DRSL approaches. Key to our results is the use of variance reduction and random reshuffling to accelerate stochastic min-max optimization, the analysis of which may be of independent interest.

연구 동기 및 목표

• 대규모 워샤르슈타인 분포로 부터의 강건한 지도 학습(WDRSL) 문제를 해결하기 위한 효율적이고 확장 가능한 알고리즘이 부족한 문제를 해결한다.
• 비부드러운 재구성 또는 결정론적 하위문제 해결에 의존하는 기존 방법의 한계를 극복하며, 데이터 크기에 따라 성능이 급격히 떨어지는 문제를 해결한다.
• 일반화 선형 손실을 가진 WDRSL의 최소-최대 구조에 맞게 조정된 확률적, 분산 감소 최적화 알고리즘을 개발한다.
• 기존의 표준 솔버 및 결정론적 1차 최적화 방법보다 WDRSL에 대해 더 빠른 수렴 속도를 달성한다.
• 합성 및 실제 데이터 세트에서 분포 이격 상황에서 개선된 강건성과 계산 효율성을 입증한다.

제안 방법

• 일반화 선형 손실을 가진 WDRSL을 ℓ∞-구역 및 두 번째 순서 원뿔에 대한 제약 조건이 있는 부드럽고 볼록-오목 최소-최대 문제로 재구성한다.
• 최소-최대 재구성의 최적성 개념을 도입하고, 이가 표준 WDRSL 최적성과 일치함을 증명한다.
• 분산 감소를 활용하여 확률적 최소-최대 설정에서 수렴 속도를 가속화하는 Stochastic Extragradient with Variance Reduction (SEVR)를 제안한다.
• 무작위 재배열을 사용하여 비볼록-오목 최소-최대 문제에서 수렴을 향상시키는 Stochastic Proximal Point with Random Reshuffling (SPPRR)를 개발한다.
• 기존 솔버 및 결정론적 프레임워크와 비교하여 더 빠른 수렴 속도를 확보하기 위해 신중한 복잡도 분석을 적용한다.
• 유한합 구조와 부드러움을 활용하여 확률적 기울기 기반 업데이트의 효율적 구현을 가능하게 한다.

실험 결과

연구 질문

• RQ1 분산 감소 확률적 초과그리디언 방법은 기존 솔버보다 대규모 워샤르슈타인 DRSL에서 더 빠른 수렴을 달성할 수 있는가?
• RQ2 제안된 WDRSL의 최소-최대 재구성은 어떻게 확률적 기울기와 분산 감소를 효율적으로 활용할 수 있는가?
• RQ3 배치 크기와 고정점 반복 횟수의 영향은 SEVR 및 SPPRR의 수렴 및 강건성에 어떤가?
• RQ4 악성 분포 이격 상황에서 WDRSL은 ERM 및 f-분산 기반 DRSL과 비교해 어떻게 성능을 발휘하는가?
• RQ5 SPPRR에서 사용된 무작위 재배열은 WDRSL의 최소-최대 최적화에서 수렴을 향상시키는가?

주요 결과

• SEVR 및 SPPRR는 기존의 표준 솔버 및 결정론적 1차 최적화 방법보다 WDRSL에 대해 더 빠른 수렴 속도를 달성한다.
• 제안된 알고리즘이 큰 워샤르슈타인 거리의 편향에 대해 표준 ERM 및 f-분산 기반 DRSL보다 강건한 손실을 크게 초월한다.
• 큰 편향 반경에서, 제안된 방법을 사용한 WDRSL은 특히 데이터 지원이 겹치지 않을 경우 f-분산 기반 DRSL보다 훨씬 더 나은 성능을 보인다.
• n_train = 1,000인 합성 데이터 세트에서는 WDRSL이 f-분산 기반 DRSL보다 약간 더 뛰어난 강건성을 보였고, n_train = 2,000일 경우 f-분산 접근 방식이 약간 더 우수한 성능을 보여, 데이터 크기가 상대적 성능에 영향을 준다는 것을 시사한다.
• 실험 결과, SEVR는 다양한 배치 크기(B ∈ {32, 64, 128, 256})에서 강건하며, SPPRR는 고정점 반복 횟수(M ∈ {2, 4, 6})가 증가할수록 수렴 속도와 강건성 측면에서 유리함을 보였다.
• 최소-최대 최적화에서의 분산 감소와 무작위 재배열 분석은 WDRSL를 넘어서 독립적인 이론적 통찰을 제공한다.