[논문 리뷰] Efficient Stochastic Gradient Descent for Learning with Distributionally Robust Optimization

Soumyadip Ghosh, Mark S. Squillante외 1명|arXiv (Cornell University)|2018. 05. 22.

Risk and Portfolio Optimization참고 문헌 20인용 수 5

한 줄 요약

이 논문은 분포로부스트 최적화(DRO) 문제를 효율적으로 해결하기 위해 외부 최소화 문제에 대한 경사하강법과 내부 최대화 문제에 대한 표본 평균 근사법을 조합한 새로운 확률적 최적화 알고리즘인 분포로부스트 확률적 경사하강법(DSSG)을 제안한다. 이 방법은 내부 경사 추정에 사용되는 부분집합 크기를 동적으로 증가시켜 확률적 오차와 계산 비용 사이의 이론적 균형을 이루며, 이로써 최적 수렴성을 달성한다. 실험적으로는 정규화된 ERM보다 주어진 순서만큼 빠른 훈련 속도를 기록하며 뛰어난 일반화 성능을 입증한다.

ABSTRACT

Distributionally robust optimization (DRO) problems are increasingly seen as a viable method to train machine learning models for improved model generalization. These min-max formulations, however, are more difficult to solve. We therefore provide a new stochastic gradient descent algorithm to efficiently solve this DRO formulation. Our approach applies gradient descent to the outer minimization formulation and estimates the gradient of the inner maximization based on a sample average approximation. The latter uses a subset of the data in each iteration, progressively increasing the subset size to ensure convergence. Theoretical results include establishing the optimal manner for growing the support size to balance a fundamental tradeoff between stochastic error and computational effort. Empirical results demonstrate the significant benefits of our approach over previous work, and also illustrate how learning with DRO can improve generalization.

연구 동기 및 목표

• 기계학습에서 표준 경험 위험 최소화보다 더 복잡한 min-max DRO 공식화의 계산 과제를 해결하기 위해.
• 내부 최대화 문제를 적응형 표본 평균 근사를 사용하여 효율적으로 다루는 확률적 최적화 방법을 개발하기 위해.
• 표본 평균 근사에서 지지 집합 크기를 증가시키는 이론적으로 최적의 전략을 수립하여 확률적 오차와 계산 비용을 균형 잡기 위해.
• DSSG가 정규화된 ERM보다 뛰어난 일반화 성능을 보이며 계산 오버헤드를 크게 줄이는 것으로 실험적으로 검증하기 위해.
• 모델 훈련에 분포 불확실성을 자연스럽게 통합하는, 튜닝이 필요 없는 ERM의 강력한 대안을 제공하기 위해.

제안 방법

• DRO 공식화의 외부 최소화 문제에 대해 확률적 경사하강법을 적용하며, 악성 경우 기대 손실을 목적 함수로 간주한다.
• 내부 최대화 문제에 대해 점차 증가하는 데이터 부분집합에 대한 표본 평균 근사(SAA)를 사용한다.
• 표본 평균 근사에서의 부분집합 크기 증가율은 이론적 분석을 통해 유도된 확률적 근사 오차와 계산 노력 사이의 트레이드오프를 균형 잡는다.
• 기본 분포를 균일 경험 분포 $U_N$로 설정하여, $\varphi$-발산 제약 조건(예: $\chi^2$ 및 KL 발산 포함)에 일반적으로 적용 가능하도록 설계된다.
• 내부 경사 추정을 위해 데이터의 부분집합을 사용하며, 부분집합 크기의 증가율을 제어하여 수렴성을 보장한다.
• 이 방법은 볼록 손실 함수에 적용 가능하며, 쌍대성과 볼록 최적화 원리를 활용하여 이론적 보장을 유지한다.

실험 결과

연구 질문

• RQ1 완전한 내부 최대화를 매 단계에서 수행할 필요 없이, min-max DRO 공식화를 효율적으로 해결할 수 있는 확률적 경사하강법을 설계할 수 있는가?
• RQ2 DRO에서 확률적 오차와 계산 비용을 균형 잡기 위해 표본 평균 근사에서 부분집합 크기를 증가시키는 최적의 속도는 무엇인가?
• RQ3 제안된 방법이 정규화된 경험 위험 최소화(ERM)보다 뛰어난 일반화 성능을 달성하면서도 하이퍼파rameter 튜닝의 필요성을 줄일 수 있는가?
• RQ4 다양한 데이터셋의 $d/N$ 비율과 데이터 특성에 따라 DSSG의 성능은 어떻게 비교되는가?
• RQ5 단일 $\rho$ 값(예: 0.1)을 사용한 DRO가 하이퍼파rameter 검색을 광범위하게 필요로 하지 않고도 다양한 데이터셋에서 강건한 일반화 성능을 제공할 수 있는가?

주요 결과

• DSSG는 14개의 다양한 데이터셋에서 10겹 교차검증 ERM와 비교해 테스트 오분류율이 유사하거나 뛰어나며, 표본 오차율이 가장 우수한 결과는 표 2에서 굵게 표시되어 있다.
• adult 및 imdb.drama 데이터셋에서 $\rho=0.1$인 DRO는 각각 $\mathbf{16.6\pm 0.1}$% 및 $\mathbf{36.2\pm 0.1}$%의 테스트 오차를 기록하여 최고의 ERM 결과를 매칭하거나 초월했다.
• rcv1 데이터셋에서는 $\rho=0.1$인 DRO가 $\mathbf{5.4\pm 0.0}$%의 테스트 오차를 기록하여 ERM의 $\mathbf{5.6\pm 0.0}$%보다 유의미하게 뛰어나며, $\rho=1.0$ 및 $\rho=0.01$보다도 우수했다.
• 표 1의 CPU 시간 비교에 따르면, DSSG는 10겹 교차검증 ERM 대비 계산 비용을 한 개에서 세 개의 주요 순서만큼 감소시켰다.
• 표 12의 결과와 마찬가지로, DSSG는 ERM에서 $\lambda$에 대한 하이퍼파rameter 튜닝이 필요 없음을 입증하여, 다양한 데이터셋에서 안정적인 성능을 기록했다.
• 이론적 분석을 통해 최적의 부분집합 크기 증가율이 확률적 오차와 계산 노력 사이의 균형을 이루며, 추가 오버헤드를 최소화하면서도 수렴성을 보장함을 확인했다.