[논문 리뷰] Fast Stochastic Variance Reduced ADMM for Stochastic Composition Optimization

Yue Yu, Longbo Huang|arXiv (Cornell University)|2017. 05. 11.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 3

한 줄 요약

이 논문은 선형 제약 조건을 가진 스토하스틱 복합 최적화를 위한 첫 번째 ADMM 기반 알고리즘인 com-SVR-ADMM를 제안하며, 스토하스틱 분산 감소 기법을 활용하여 강凸성과 리프시츠 스무쓰함을 만족하는 문제에서 선형 수렴 속도를 달성하고, 볼록 케이스에서는 $O(\log S/S)$의 향상된 수렴 속도를 확보한다. 이는 이전 방법들보다 수렴 속도와 안정성 면에서 뛰어나다.

ABSTRACT

We consider the stochastic composition optimization problem proposed in \cite{wang2017stochastic}, which has applications ranging from estimation to statistical and machine learning. We propose the first ADMM-based algorithm named com-SVR-ADMM, and show that com-SVR-ADMM converges linearly for strongly convex and Lipschitz smooth objectives, and has a convergence rate of $O( \log S/S)$, which improves upon the $O(S^{-4/9})$ rate in \cite{wang2016accelerating} when the objective is convex and Lipschitz smooth. Moreover, com-SVR-ADMM possesses a rate of $O(1/\sqrt{S})$ when the objective is convex but without Lipschitz smoothness. We also conduct experiments and show that it outperforms existing algorithms.

연구 동기 및 목표

• 기계 학습 및 추정 분야에서 선형 제약 조건이 있는 스토하스틱 복합 최적화를 위한 효율적이고 확장 가능한 알고리즘이 부족한 문제를 해결하기 위해.
• 기존에 표준 스토하스틱 최적화에 사용된 분산 감소 기법을 복합 목표 함수에 대해 ADMM 프레임워크로 확장하기 위해.
• 기존의 하위선형 수렴 속도 알고리즘보다 더 빠른 수렴 속도를 달성하는 방법을 개발하기 위해, 특히 볼凸 및 강凸 설정에서.
• ADMM를 통해 정규화 및 제약 조건을 자연스럽게 통합함으로써, 위험 회피 학습이나 동적 프로그래밍과 같은 실제 문제에 더 넓은 적용 가능성을 확보하기 위해.

제안 방법

• 스토하스틱 복합 문제를 위한 보정 라그랑주 프레임워크에 스토하스틱 분산 감소(SVR)를 통합한 ADMM 기반 알고리즘인 com-SVR-ADMM를 제안한다.
• 외부 루프는 이중 변수 갱신을, 내부 루프는 복합 목표 함수의 분산 감소된 기울기 추정을 수행하는 이중 루프 구조를 사용한다.
• 내부 및 외부 함수 양쪽에서 스토하스틱 기울기의 분산을 감소시키기 위해 SVR을 적용하여 수렴 안정성과 속도를 향상시킨다.
• 보정 라그랑주 구조를 활용하여 기대 하위최적성과 제약 위반을 제한하는 새로운 리아푸노프 함수 분석을 도입한다.
• 비 i.i.d. 표본 추출 및 유한 샘플 설정에서도 수렴을 유지하기 위해 적응형 스텝 사이즈와 재귀 평균화 기법을 활용한다.
• 반복 과정 동안 기대 우선-이중 갭과 제약 위반의 감소를 분석하여 수렴 보장을 도출한다.

실험 결과

연구 질문

• RQ1 분산 감소 기법은 스토하스틱 복합 문제에 대해 ADMM 프레임워크에 효과적으로 적용될 수 있는가?
• RQ2 SVR를 ADMM와 조합함으로써 스토하스틱 복합 최적화 맥락에서 어떤 수렴 속도를 달성할 수 있는가?
• RQ3 com-SVR-ADMM는 기존의 하위선형 수렴 속도 알고리즘과 비교해 수렴 속도와 안정성 면에서 어떻게 우월한가?
• RQ4 목표 함수가 볼凸이지만 리프시츠 스무쓰하지 않은 경우 알고리즘이 어떻게 작동하며, 그 경우의 수렴 속도는 얼마인가?
• RQ5 선형 제약 조건과 정규화를 포함함으로써 위험 회피 학습이나 동적 프로그래밍과 같은 실제 문제에서 실용적 성능이 향상되는가?

주요 결과

• com-SVR-ADMM는 강凸성과 리프시츠 스무쓰함을 만족하는 목표 함수에서 선형 수렴을 달성하며, 이는 이전의 하위선형 수렴 속도에 비해 상당한 향상이다.
• 볼凸성과 리프시츠 스무쓰함을 만족하는 목표 함수의 경우, 수렴 속도는 $O(\log S / S)$이며, Wang 등(2016b)의 $O(S^{-4/9})$ 수렴 속도보다 향상되었다.
• 목표 함수가 볼凸이지만 리프시츠 스무쓰하지 않은 경우, 알고리즘은 $O(1/\sqrt{S})$의 수렴 속도를 달성한다.
• 실험 결과 com-SVR-ADMM는 여러 벤치마크 문제에서 기존 알고리즘보다 수렴 속도와 해의 품질 면에서 뛰어나게 성능을 발휘한다.
• 비균일 표본 추출 및 유한 샘플 설정에서도 안정성과 빠른 수렴을 유지하여 강건성을 입증한다.
• 이론적 분석을 통해 제약 위반과 하위최적성의 감소가 제시된 속도로 이루어지며, 리아푸노프 함수와 재귀 경계 기법을 통해 검증된다.