[논문 리뷰] A Stochastic Decoupling Method for Minimizing the Sum of Smooth and Non-Smooth Functions

Konstantin Mishchenko, Peter Richtárik|arXiv (Cornell University)|2019. 05. 27.

Sparse and Compressive Sensing Techniques참고 문헌 58인용 수 7

한 줄 요약

이 논문은 부드럽고 비부드러운 볼록 함수의 합을 최소화하기 위한 새로운 스토하스틱 디커플링 방법을 제안한다. 여기서 비부드러운 성분은 계산 가능한 함수들의 유한한 평균이다. 개별 성분의 프록시멀 연산자를 반복적으로 샘플링하고 업데이트함으로써, 이 방법은 분산 감소를 달성하고, 강한 볼록성 하에서 선형 수렴 속도를 증명적으로 확보한다. 이는 기존 알고리즘을 일반화하며, 기계학습 및 최적화 분야의 대규모 문제에 대해 효율적인 해법을 가능하게 한다.

ABSTRACT

We consider the problem of minimizing the sum of three convex functions: i) a smooth function $f$ in the form of an expectation or a finite average, ii) a non-smooth function $g$ in the form of a finite average of proximable functions $g_j$, and iii) a proximable regularizer $R$. We design a variance-reduced method which is able to progressively learn the proximal operator of $g$ via the computation of the proximal operator of a single randomly selected function $g_j$ in each iteration only. Our method can provably and efficiently accommodate many strategies for the estimation of the gradient of $f$, including via standard and variance-reduced stochastic estimation, effectively decoupling the smooth part of the problem from the non-smooth part. We prove a number of iteration complexity results, including a general ${\cal O}(1/t)$ rate, ${\cal O}(1/t^2)$ rate in the case of strongly convex smooth $f$, and several linear rates in special cases, including accelerated linear rate. For example, our method achieves a linear rate for the problem of minimizing a strongly convex function $f$ subject to linear constraints under no assumption on the constraints beyond consistency. When combined with SGD or SAGA estimators for the gradient of $f$, this leads to a very efficient method for empirical risk minimization. Our method generalizes several existing algorithms, including forward-backward splitting, Douglas-Rachford splitting, proximal SGD, proximal SAGA, SDCA, randomized Kaczmarz and Point-SAGA. However, our method leads to many new specific methods in special cases; for instance, we obtain the first randomized variant of the Dykstra's method for projection onto the intersection of closed convex sets.

연구 동기 및 목표

• 대규모 비부드러운 성분을 포함하는 복합 볼록 최적화 문제를 효율적으로 최소화하는 데 도전한다.
• 전체 비부드러운 항의 프록시멀 연산자를 직접 계산하지 않고도, 개별 성분을 샘플링함으로써 분산 감소를 달성하는 방법을 개발한다.
• 비부드러운 문제에 대해 최소한의 가정 하에 선형 수렴 속도를 달성한다. 이는 비부드러운 함수들이 리프시츠 조건을 만족하지 않거나 강한 볼록성이 없을 경우에도 적용 가능하다.
• 프록시멀 SGD, SAGA, SDCA, 랜덤라이즈드 카츠마르츠와 같은 기존 알고리즘을 일반화하며, 랜덤라이즈드 딕스트라 알고리즘과 같은 새로운 변형을 가능하게 한다.
• 부드러운 부분과 비부드러운 부분의 처리를 분리함으로써, 다양한 경량 추정기(예: SGD, SAGA, SVRG)와의 탄력적인 통합을 가능하게 한다.

제안 방법

• 이 방법은 매 반복마다 인덱스 $ j $ 를 균일하게 랜덤으로 샘플링하여 $ g_j $ 의 프록시멀 연산자를 계산함으로써, $ g $ 의 프록시멀 연산자를 계산하지 않는다.
• 수렴 분석을 위해 리아푸노프 함수를 사용하며, 원본 반복값, 이중 변수, 모멘타와 유사한 항을 조합하여 진행 상황을 추적한다.
• 부드러운 함수 $ f $ 에 대해 SAGA 또는 SVRG와 같은 분산 감소 경량 추정기를 통합하면서, $ f $, $ R $, $ g_j $ 에 대해 별도의 스텝 사이즈를 유지한다.
• 각 비부드러운 성분의 영향을 샘플링 확률에 따라 균형 잡기 위해 스텝 사이즈 규칙 $ \eta_j = \eta / (m p_j) $ 를 도입한다.
• 비부드러운 항을 랜덤으로 선택하고 적응형 스텝 사이즈 제어를 가능하게 하여, 프론트워드-백워드 및 더글라스-라크포드 분할을 일반화한다.
• 비부드러운 탈진 문제를 위한 새로운 기여로, 볼록 집합의 교차 부분에 투영하기 위한 랜덤라이즈드 딕스트라 알고리즘의 변형을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비부드러운 유한합 문제에 대해, 개별 $ g_j $ 가 리프시츠 조건이나 강한 볼록성을 만족하지 않더라도 스토하스틱 방법이 선형 수렴 속도를 달성할 수 있는가?
• RQ2 프록시멀 연산자가 계산이 불가능한 $ g = \frac{1}{m} \sum_{j=1}^m g_j $ 의 비부드러운 성분에 대해 분산 감소를 효과적으로 적용할 수 있는가?
• RQ3 부드러운 부분과 비부드러운 부분의 분리 처리를 통해, $ f $ 에 대한 효율적인 경량 추정기와 비부드러운 구조의 점진적 학습을 융합할 수 있는가?
• RQ4 SAGA나 SDCA와 같은 기존 분할 방법을 대규모 비부드러운 유한합 문제에 적용하여 선형 수렴 속도를 증명적으로 확보할 수 있는가?
• RQ5 이 프레임워크는 비부드러운 탈진 문제를 위한 새로운 알고리즘, 예를 들어 볼록 집합의 교차에 투영하는 랜덤라이즈드 딕스트라 알고리즘의 변형을 지원할 수 있는가?

주요 결과

• 이 방법은 볼록 문제에 대해 일반적인 $ \mathcal{O}(1/t) $ 수렴 속도를 달성하며, 이는 부드러운 문제의 최고 성능 수렴 속도와 일치한다.
• 부드러운 함수 $ f $ 가 강한 볼록일 경우, 이 방법은 더 빠른 $ \mathcal{O}(1/t^2) $ 수렴 속도를 달성하며, 특수한 경우 선형 수렴 속도를 확보한다. 이는 가속화된 선형 수렴 속도를 포함한다.
• 선형 제약 조건 하에서 강한 볼록성 있는 $ f $ 를 최소화하는 문제에 대해, 제약 행렬에 대한 추가 가정 없이도 선형 수렴 속도를 달성한다.
• SAGA 또는 SGD 추정기를 $ \nabla f $ 에 적용할 경우, 전체 투영 방법에 비해 반복당 비용을 줄이며 효율적인 경험 위험 최소화를 달성한다.
• 이 방법은 프록시멀 SGD, SAGA, SDCA, 랜덤라이즈드 카츠마르츠, 더글라스-라크포드 등 10개 이상의 기존 알고리즘을 일반화하며, 볼록 집합의 교차에 투영하기 위한 첫 번째 랜덤라이즈드 딕스트라 알고리즘을 도입한다.
• 수치 실험 결과, 특히 $ m $ 이 클 경우, 전체 투영 SVRG에 비해 데이터 통과 횟수를 줄이는 것으로 나타났다. 이는 스토하스틱 비부드러운 업데이트를 효율적으로 활용하기 때문이다.