[논문 리뷰] Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis

Jikai Jin, Bohang Zhang외 2명|arXiv (Cornell University)|2021. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 4

한 줄 요약

이 논문은 일반적인 매끄러운 비볼록 손실 함수에 대해 비볼록 분포로 불확실성에 강건한 최적화(DRO) 프레임워크를 제안하며, 비점근 수렴 보장을 제공한다. 페널티 DRO 목표 함수에 대해 미니배치로 정규화된 경사하강법에 관성항을 적용한 방법은 비볼록성과 유한하지 않은 경사하강 노이즈 조건 하에서도 $\mathcal{O}(\epsilon^{-4})$의 경사하강 복잡도로 $\epsilon$-일阶 정류점에 도달한다.

ABSTRACT

Distributionally robust optimization (DRO) is a widely-used approach to learn models that are robust against distribution shift. Compared with the standard optimization setting, the objective function in DRO is more difficult to optimize, and most of the existing theoretical results make strong assumptions on the loss function. In this work we bridge the gap by studying DRO algorithms for general smooth non-convex losses. By carefully exploiting the specific form of the DRO objective, we are able to provide non-asymptotic convergence guarantees even though the objective function is possibly non-convex, non-smooth and has unbounded gradient noise. In particular, we prove that a special algorithm called the mini-batch normalized gradient descent with momentum, can find an $ε$ first-order stationary point within $O( ε^{-4} )$ gradient complexity. We also discuss the conditional value-at-risk (CVaR) setting, where we propose a penalized DRO objective based on a smoothed version of the CVaR that allows us to obtain a similar convergence guarantee. We finally verify our theoretical results in a number of tasks and find that the proposed algorithm can consistently achieve prominent acceleration.

연구 동기 및 목표

• 비볼록이고 매끄러운 손실 함수에 대해 유한하지 않은 경사하강 노이즈 조건이 존재할 때 DRO의 이론적 이해 격차를 메우기 위해.
• 일반적인 $\psi$-divergence 불확실성 집합 하에서 DRO 알고리즘의 비점근 수렴 보장을 제공하기 위해.
• DRO 최적화에서 비볼록성과 무한한 확률적 경사하강 분산의 과제를 해결하기 위해.
• 부드럽게 처리된 DRO 설정을 통해 조건부가치위험(CVaR) 설정으로 수렴 분석을 확장하기 위해.

제안 방법

• 분포 불확실성을 다루기 위해 $\psi$-divergence를 사용한 페널티 DRO 목표 함수를 제안한다.
• 비볼록 설정에서 비점근 분석이 가능하도록 CVaR의 부드러운 버전을 도입한다.
• 학습 안정성 향상과 수렴 개선을 위해 미니배치로 정규화된 경사하강법에 관성항을 적용한다.
• DRO 목표 함수에 대한 일반화된 매끄러움 조건을 활용하여 경사하강 분산을 제한한다.
• 경사하강 하한과 매끄러움 성질을 유도하기 위해 볼록 쌍대 함수 $\psi^*$를 통한 이중 표현을 활용한다.
• 진짜 경사하강 노름을 사용하여 확률적 경사하강 분산의 분산을 제한함으로써 수렴을 확립한다.

실험 결과

연구 질문

• RQ1 일반적인 매끄러운 비볼록 손실 함수와 유한하지 않은 경사하강 노이즈 조건 하에서 DRO에 대해 비점근 수렴을 확립할 수 있는가?
• RQ2 제안된 정규화된 SGD에 관성항을 적용한 방법이 비볼록 DRO에서 $\epsilon$-정류점에 도달하기 위한 증명 가능한 경사하강 복잡도를 달성하는가?
• RQ3 조건부가치위험(CVaR) DRO 설정을 부드럽게 처리하여 비점근 분석이 가능한가?
• RQ4 제안된 알고리즘의 경사하강 복잡도는 $\epsilon$, $\lambda$, $\alpha$, 및 문제 파라미터에 대해 어떻게 표현되는가?
• RQ5 이 방법은 불균형 및 강건한 분류 작업에서 경험적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 미니배치로 정규화된 경사하강법에 관성항을 적용한 방법은 비볼록 DRO에서 $\epsilon$-일阶 정류점에 도달하기 위해 $\mathcal{O}(\epsilon^{-4})$의 경사하강 복잡도를 달성한다.
• DRO 목표 함수는 일반화된 매끄러움 조건을 만족하여, 비볼록성과 비매끄러움 조건 하에서도 수렴 분석이 가능하다.
• 부드러운 CVaR 설정의 경우, 경사하강 복잡도는 $\mathcal{O}(\alpha^{-3}\lambda^{-1}G^{2}(G^{2}+\lambda L)\Delta\epsilon^{-4})$이며, 여기서 $\Delta$는 초기 최적성 갭을 의미한다.
• 불균형 CIFAR-10에서의 경험적 결과는 일관된 가속 효과를 보이며, 부드러운 CVaR는 가장 성능이 열악한 클래스에서 90.2%의 테스트 정확도를 달성한다.
• 표준 SGD 및 기준 DRO 방법보다 우수한 성능을 보이며, 소수의 클래스에서 특히 강건성을 입증한다. 분포 이탈 조건 하에서도 안정적인 성능을 발휘한다.
• 이론적 분석을 통해 경사하강 분산이 진짜 경사하강 노름에 의해 제한됨을 확인하여, 무한한 노이즈 조건 하에서도 안정적인 최적화가 가능함을 입증한다.