[논문 리뷰] Random extrapolation for primal-dual coordinate descent

Ahmet Alacaoglu, Olivier Fercoq외 1명|arXiv (Cornell University)|2020. 07. 13.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 랜덤 외삽을 사용하여 희소 및 조밀한 데이터 행렬을 적응적으로 처리할 수 있는 원시-이중좌표강하법인 PURE-CD를 제안한다. 메트릭 하위정규성 하에서 선형 수렴을 달성하고 일반적인 볼록-볼록 케이스에서는 최적의 O(1/k) 비선형 수렴을 보이며, 파arameter 조정 없이도 기존 방법보다 두 경우 모두에서 뛰어난 성능을 발휘한다.

ABSTRACT

We introduce a randomly extrapolated primal-dual coordinate descent method that adapts to sparsity of the data matrix and the favorable structures of the objective function. Our method updates only a subset of primal and dual variables with sparse data, and it uses large step sizes with dense data, retaining the benefits of the specific methods designed for each case. In addition to adapting to sparsity, our method attains fast convergence guarantees in favorable cases extit{without any modifications}. In particular, we prove linear convergence under metric subregularity, which applies to strongly convex-strongly concave problems and piecewise linear quadratic functions. We show almost sure convergence of the sequence and optimal sublinear convergence rates for the primal-dual gap and objective values, in the general convex-concave case. Numerical evidence demonstrates the state-of-the-art empirical performance of our method in sparse and dense settings, matching and improving the existing methods.

연구 동기 및 목표

• 기존 원시-이중좌표강하법의 한계를 해결하기 위해, 희소 데이터에서 높은 반복 비용을 지닌다거나 조밀한 데이터에서 스텝 크기를 제한하는 문제를 해결한다.
• 희소성 효율적이고 조밀성 효율적인 방법의 장점을 하나의 프레임워크로 통합하여 수동 조정 없이 데이터 희소성에 적응할 수 있도록 한다.
• 메트릭 하위정규성 하에서 선형 수렴을 증명한다. 이는 강한 볼록-강한 볼록 문제와 조각별 선형-이차형 목적함수(예: Lasso, SVM 등)를 포함한다.
• 일반적인 볼록-볼록 케이스에서 이터레이트의 수렴성과 최적의 O(1/k) 비선형 수렴 속도를 확보한다.

제안 방법

• 데이터 희소성과 문제 구조에 따라 스텝 크기를 동적으로 조정하기 위해 랜덤 외삽을 핵심 메커니즘으로 도입한다.
• 데이터 행렬 A의 희소성 패턴에 따라 무작위로 선택된 원시 및 이중 변수의 부분 집합에 대해 선택적 업데이트를 수행하는 좌표강하법을 사용한다.
• g와 h*에 대해 프록시멀 연산자를, f에 대해 기울기 업데이트를 사용하며, 스텝 크기는 외삽 메커니즘을 통해 적응적으로 조정한다.
• 블록 희소성에 따라 확률 분포가 결정되는 무작위 선택 전략을 활용하여, 희소 및 조밀한 환경 모두에서 효율성을 확보한다.
• 리아파노프 함수와 확률적 분석을 사용하여 수렴 보장을 유도하며, 기대 이터레이트와 이중성 갭에 대한 경계를 포함한다.
• 수렴 속도를 향상시키면서도 안정성을 유지하기 위해 외삽을 적용한 이중 변수 업데이트를 통합한다.

실험 결과

연구 질문

• RQ1 원시-이중좌표강하법이 희소 데이터에서 낮은 반복 비용과 동시에 조밀한 데이터에서 큰 스텝 크기를 동시에 달성할 수 있는가?
• RQ2 랜덤 외삽이 스텝 크기를 수정하지 않고도 알려지지 않은 문제 구조에 적응할 수 있는가?
• RQ3 메트릭 하위정규성 하에서 보장할 수 있는 수렴 속도는 무엇이며, 기존 방법과 비교해 어떻게 다른가?
• RQ4 일반적인 볼록-볼록 케이스에서 거의 확실한 수렴성과 최적의 O(1/k) 비선형 수렴 속도를 확보할 수 있는가?

주요 결과

• PURE-CD는 메트릭 하위정규성 하에서 선형 수렴을 달성하며, 이는 강한 볼록-강한 볼록 문제와 Lasso, SVM 등 조각별 선형-이차형 목적함수를 포함한다.
• 일반적인 볼록-볼록 케이스에서 원시-이중 갭과 목적함수 값에 대해 최적의 O(1/k) 비선형 수렴 속도를 확보한다.
• 강한 볼록성이 없더라도 이터레이트가 해로 거의 확실하게 수렴함을 증명하였다.
• 수치 실험 결과, 희소, 조밀, 중간 정도의 희소성 데이터 환경에서 모두 최신 기술 수준의 경험적 성능을 보였다.
• 희소 데이터에서는 낮은 반복 비용을 유지하고 조밀한 데이터에서는 큰 스텝 크기를 확보하여, 이전 방법들이 한쪽을 희생시키는 것을 방지한다.