[논문 리뷰] Stochastic Primal-Dual Algorithms with Faster Convergence than O(1/√T) for Problems without Bilinear Structure.

Yan Yan, Yi Xu외 3명|arXiv (Cornell University)|2019. 04. 23.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 11

한 줄 요약

이 논문은 볼록-볼록 문제에서 이중 구조가 없이도 O(1/√T)보다 빠른 수렴을 달성하는 새로운 스토하스틱 원자-이중 알고리즘을 제안한다. 이 알고리즘은 스토하스틱 그래디언트 업데이트와 로그 수준의 결정적 이중 업데이트를 조합하며, 약한 강력 볼록성(강력 볼록성)과 이중에서의 강력 볼록성 조건 하에서 O(1/T) 수렴 속도를 달성한다.

ABSTRACT

Previous studies on stochastic primal-dual algorithms for solving min-max problems with faster convergence heavily rely on the bilinear structure of the problem, which restricts their applicability to a narrowed range of problems. The main contribution of this paper is the design and analysis of new stochastic primal-dual algorithms that use a mixture of stochastic gradient updates and a logarithmic number of deterministic dual updates for solving a family of convex-concave problems with no bilinear structure assumed. Faster convergence rates than $O(1/\sqrt{T})$ with $T$ being the number of stochastic gradient updates are established under some mild conditions of involved functions on the primal and the dual variable. For example, for a family of problems that enjoy a weak strong convexity in terms of the primal variable and has a strongly concave function of the dual variable, the convergence rate of the proposed algorithm is $O(1/T)$. We also investigate the effectiveness of the proposed algorithms for learning robust models and empirical AUC maximization.

연구 동기 및 목표

• 기존의 스토하스틱 원자-이중 방법이 이중 구조에 의존함으로써 적용 범위가 제한되는 문제를 해결하기 위해.
• 이중 구조가 없는 문제에 대해 O(1/√T)보다 더 빠른 수렴을 달성하는 새로운 알고리즘을 설계하기 위해.
• 원자 및 이중 변수에 대한 미약한 기능 조건 하에서 수렴 속도를 확립하기 위해.
• 강건한 모델 학습과 경험적 AUC 최적화에서 알고리즘의 성능을 평가하기 위해.

제안 방법

• 알고리즘은 원자 변수에 대한 스토하스틱 그래디언트 업데이트와 로그 수준의 결정적 이중 업데이트를 혼합하여 사용한다.
• 원자 변수의 약한 강력 볼록성과 이중 변수의 강력 볼록성을 활용하여 더 빠른 수렴을 가능하게 한다.
• 수렴 속도를 보장하기 위해 반복 횟수 T에 대해 로그 수준으로 증가하는 이중 변수 업데이트 스케줄을 유지한다.
• 원자에서의 볼록성과 이중에서의 볼록성 조건 하에, 미약한 미분 가능성과 곡률 조건을 가정한 수렴 분석을 수행한다.
• 알고리즘은 강건한 모델 학습과 경험적 AUC 최적화와 같은 두 가지 실용적 문제에 적용된다.
• 이중 갭을 bound하기 위해 리아푸노프 함수 접근법을 사용하여 이론적 보장을 도출한다.

실험 결과

연구 질문

• RQ1 최소-최대 문제에서 이중 구조를 가정하지 않고도 스토하스틱 원자-이중 알고리즘이 O(1/√T)보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 원자 및 이중 함수에 어떤 조건이 존재하면 O(1/√T)보다 더 빠른 수렴 속도를 달성할 수 있는가?
• RQ3 로그 수준의 이중 업데이트 스케줄은 전체 이중 업데이트와 비교해 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ4 제안된 알고리즘이 강건한 학습과 AUC 최적화 작업을 효과적으로 해결할 수 있는가?
• RQ5 원자에서의 약한 강력 볼록성과 이중에서의 강력 볼록성 조건 하에서 이론적 수렴 속도는 무엇인가?

주요 결과

• 제안된 알고리즘은 원자에서의 약한 강력 볼록성과 이중에서의 강력 볼록성 조건을 만족하는 문제 클래스에 대해 O(1/T) 수렴 속도를 달성하며, 표준 O(1/√T) 수렴 속도를 초월한다.
• 이 수렴 속도 향상은 이중 구조를 가정하지 않음으로써 비이중 구조 최소-최대 문제에 대한 적용 가능성을 넓힌다.
• 알고리즘은 결정적 이중 업데이트 수를 로그 수준으로 유지함으로써 계산 오버헤드를 줄이면서도 빠른 수렴을 유지한다.
• 실험 결과는 이 알고리즘이 적대적 노이즈 하에서 일반화 성능을 향상시키는 강건한 모델 학습에서 효과적임을 보여준다.
• 경험적 AUC 최적화에서 이 알고리즘은 기준 스토하스틱 원자-이중 방법보다 더 빠른 수렴 속도와 더 높은 AUC 점수를 달성한다.
• 이론적 분석을 통해 주어진 기능 가정 하에서 수렴 속도가 최적임을 확인한다.