[논문 리뷰] UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization

Ali Kavis, Kfir Y. Levy외 2명|arXiv (Cornell University)|2019. 10. 30.

Stochastic Gradient Optimization Techniques인용 수 15

한 줄 요약

UniXGrad는 스무딩 매개변수 $L$나 기울기 노이즈 분산 $\sigma^2$에 대한 사전 지식이 없이도 비순화 문제에 대해 $Ó(GD/\sqrt{T})$ 및 순화 문제에 대해 $Ó(D^2L/T^2 + \sigma D/\sqrt{T})$의 최적 수렴 속도를 달성하는 새로운 적응형, 보편적인 알고리즘입니다. 미러-프록스에 영감을 받아, 적응형 학습률과 온라인에서 배치로의 변환을 통해 다양한 설정에서 최적의 성능을 통합합니다.

ABSTRACT

We propose a novel adaptive, accelerated algorithm for the stochastic constrained convex optimization setting. Our method, which is inspired by the Mirror-Prox method, \emph{simultaneously} achieves the optimal rates for smooth/non-smooth problems with either deterministic/stochastic first-order oracles. This is done without any prior knowledge of the smoothness nor the noise properties of the problem. To the best of our knowledge, this is the first adaptive, unified algorithm that achieves the optimal rates in the constrained setting. We demonstrate the practical performance of our framework through extensive numerical experiments.

연구 동기 및 목표

• 제약 조건이 있는 확률적 볼록 최적화(스모oth)에서 최적 수렴 속도를 달성하는 적응형, 보편적인 알고리즘이 부족한 문제를 해결하기 위해.
• 스무딩 매개변수 $L$이나 노이즈 분산 $\sigma^2$에 대한 사전 지식이 없이도 제약 조건이 있는 설정에서 순화 및 비순화 문제에 대해 최적의 수렴 속도를 통합하기 위해.
• 기존의 제약 조건이 있는 확률적 최적화 설정에서 보편적 방법에 대해 남겨진 열린 문제를 해결하기 위해.
• 다양한 머신러닝 작업에서 이론적 최적 속도를 충족하는 실용적이고 확장 가능한 알고리즘을 개발하기 위해.

제안 방법

• 온라인 학습 기법에서 영감을 얻은 새로운 적응형 학습률 규칙을 적용하여, 미러-프록스 프레임워크를 변형합니다.
• 알 수 없는 스무딩 수준과 노이즈 수준에 대해 암묵적으로 캘리브레이션하는 적응형 스텝 사이즈 메커니즘을 활용합니다.
• 온라인에서 배치로의 변환을 통해 온라인의 등록 제약 조건에서 일반화 보장을 유도합니다.
• 수렴 안정성을 높이기 위해 이중 평균 방식의 평균화를 포함한 재귀적 업데이트 규칙을 도입합니다.
• 브레그만 산란과 거리 생성 함수 $\mathcal{R}$의 강한 볼록성을 활용하여 제약 조건 이행을 보장합니다.
• 조건부 기대값과 분산 제어를 통합하여 기울기 노이즈 및 모멘텀 항의 정교한 분석을 통해 수렴 경계를 유도합니다.

실험 결과

연구 질문

• RQ1 스무딩 매개변수 $L$이나 노이즈 분산 $\sigma^2$에 대한 사전 지식이 없이도 하나의 적응형 알고리즘이 비순화 및 순화 제약 조건이 있는 확률적 볼록 최적화에서 최적 수렴 속도를 달성할 수 있는가?
• RQ2 비제약 조건에서의 보편 최적화 원칙을 제약 조건이 있는 설정으로 확장하면서도 최적 속도를 유지할 수 있는가?
• RQ3 스무딩과 노이즈와 같은 알 수 없는 문제 특성에 대해 암묵적으로 반응할 수 있도록 적응형 학습률을 어떻게 설계할 수 있는가?
• RQ4 확률적 오라클을 사용하는 제약 조건이 있는 SCO에서 적응형, 가속화된 방법에 대해 어떤 이론적 보장을 도출할 수 있는가?
• RQ5 기존의 보편적 방법에서 존재하는 상수 로그 인자들을 제약 조건이 있는 설정에서 제거할 수 있는가?

주요 결과

• UniXGrad는 비순화 문제에 대해 최적 수렴 속도인 $\mathcal{O}(GD/\sqrt{T})$를 달성하며, SGD의 최고 성능와 일치합니다.
• 순화 문제의 경우, 최적 속도인 $\mathcal{O}(D^2L/T^2 + \sigma D/\sqrt{T})$를 확보하여 제약 조건이 있는 보편 최적화 분야에서 오랫동안 남아있던 열린 문제를 해결합니다.
• 기존의 보편적 방법에서 존재하던 불필요한 로그 인자를 제거하여, 비제약 조건 및 제약 조건이 있는 설정 모두에서 수렴 경계를 더욱 날카롭게 다잡습니다.
• 이론적 분석을 통해 알고리즘이 알려지지 않은 스무딩 수준과 노이즈 수준에 적응하여 조정 없이도 최적 성능을 달성함을 확인합니다.
• 수치 실험을 통해 서포트 벡터 머신, 로지스틱 회귀, 라소 등 다양한 머신러닝 작업에서 뛰어난 실용적 성능을 보입니다.
• 최종 수렴 경계는 $\mathbb{E}[f(\bar{x}_T)] - \min_{x\in\mathcal{K}}f(x) \leq \frac{224\sqrt{14}D^2L}{T^2} + \frac{14\sqrt{2}\sigma D}{\sqrt{T}}$이며, 이는 $T$, $L$, $D$, $\sigma$에 대한 최적 의존성을 확인합니다.