[논문 리뷰] Large-Scale Methods for Distributionally Robust Optimization

Daniel Lévy, Yair Carmon외 2명|arXiv (Cornell University)|2020. 10. 12.

Risk and Portfolio Optimization참고 문헌 60인용 수 37

한 줄 요약

본 논문은 CVaR 및 chi-squared 불확실성 집합을 활용한 분포상 강인성 최적화(DRO)에 대한 확장 가능한 확률적 경사 방법을 개발하고, 학습 크기와 매개변수 수에 독립적인 그래디언트 평가 복잡도를 달성하며, 효율성을 높이기 위한 multi-level Monte Carlo gradient estimators를 도입합니다.

ABSTRACT

We propose and analyze algorithms for distributionally robust optimization of convex losses with conditional value at risk (CVaR) and $χ^2$ divergence uncertainty sets. We prove that our algorithms require a number of gradient evaluations independent of training set size and number of parameters, making them suitable for large-scale applications. For $χ^2$ uncertainty sets these are the first such guarantees in the literature, and for CVaR our guarantees scale linearly in the uncertainty level rather than quadratically as in previous work. We also provide lower bounds proving the worst-case optimality of our algorithms for CVaR and a penalized version of the $χ^2$ problem. Our primary technical contributions are novel bounds on the bias of batch robust risk estimation and the variance of a multilevel Monte Carlo gradient estimator due to [Blanchet & Glynn, 2015]. Experiments on MNIST and ImageNet confirm the theoretical scaling of our algorithms, which are 9--36 times more efficient than full-batch methods.

연구 동기 및 목표

• 머신러닝 및 고위험 의사결정 환경에서 확장 가능한 distributionally robust optimization(DRO)의 필요성을 해결한다.
• N이나 d에 따라 확장되지 않는 CVaR 및 chi-squared(포함된 페널티) 불확실성 집합에 대한 그래디언트 기반 알고리즘을 개발한다.
• 그래디언트 추정기의 편향과 분산에 대한 이론적 보장을 제공하고 최적의 복잡도 경계를 확립한다.
• MNIST 및 ImageNet과 같은 대규모 데이터셋에서 전체 배치 방법에 비해 실용적인 개선을 시연한다.

제안 방법

• CVaR 및 chi-squared 발산(제한 및 페널티 버전)에 대한 DRO 목적함수를 형식화한다.
• surrogate objective에 대한 바이어스 한계와 그래디언트에 대한 분산 한계를 가진 미니배치 기반 그래디언트 추정기를 사용한다.
• 분산 한계를 활용하고 수렴 속도를 개선하기 위해 Nesterov 가속을 적용한다.
• MLMC gradient estimators를 도입하여 배치 크기에 대해 로그 샘플 복잡도와 함께 편향 없는 그래디언트 추정을 얻는다.
• 최적화의 해석 가능성과 복잡도 분석을 가능하게 하기 위해 이중형 및 프라이멀-듀얼 공식화를 제공한다.

실험 결과

연구 질문

• RQ1 CVaR 및 chi-squared 불확실성 집합을 갖는 DRO 목적함수를 학습 세트 크기 N이나 매개변수 수 d에 의존하지 않는 그래디언트 평가로 최적화할 수 있는가?
• RQ2 이 DRO 목적함수들에 대해 미니배치 및 MLMC 그래디언트 추정기의 편향과 분산 특성은 무엇인가?
• RQ3 CVaR 및 chi-squared 목표 아래 어떤 ε-최적 해를 달성하기 위한 오라클 복잡도 속도는 무엇인가?
• RQ4 제안된 방법들이 실제로 MNIST, ImageNet과 같은 대규모 데이터에 확장되고 전체 배치 방법보다 성능이 우수한가?

주요 결과

• 제안된 그래디언트 방법은 CVaR 및 chi-squared DRO 목적함수에 대한 그래디언트 평가 복잡도를 N 및 d에 독립적으로 달성한다.
• 미니배치 추정기의 편향 한계를 CVaR에 대해 O(1/√n), chi-squared 페널라이즈드 목표에 대해 O(1/n), Lipschitz 역-CDF 가정하에 O(1/n)로 확립한다.
• chi-squared 경계 목적함수에서 미니배치 그래디언트 추정기의 분산이 O(1/n)로 감소하여 효율적인 최적화를 가능하게 한다.
• MLMC gradient estimators는 로그 샘플 요구량으로 편향 없는 그래디언트 추정을 제공하여 순진한 미니배치 추정기보다 효율성을 향상시킨다.
• MNIST/ImageNet에서의 실험 결과는 전체 배치 방법 대비 9–36배 적은 그래디언트 평가로도 강건성을 유지하거나 개선됨을 보여준다.