[논문 리뷰] An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization

Qihang Lin, Zhaosong Lu외 1명|arXiv (Cornell University)|2014. 07. 04.

Stochastic Gradient Optimization Techniques참고 문헌 36인용 수 39

한 줄 요약

이 논문은 볼록 복합 최적화를 위한 가속화된 프록시멀 좌표 그래디언트(ACPG) 방법을 제안한다. 이 방법은 네스테로프 스타일의 가속화와 무작위 블록 좌표 업데이트를 결합하여 더 빠른 수렴 속도를 달성한다. 강凸 문제에 대해서는 가속화된 선형 수렴 속도를 달성하고, 강凸이 아닐 경우에도 향상된 비선형 수렴 속도를 보이며, 실무에서 조건이 나쁜 정규화된 경험 위험 최소화 문제에서 SDCA와 AFG를 능가한다.

ABSTRACT

We consider the problem of minimizing the sum of two convex functions: one is smooth and given by a gradient oracle, and the other is separable over blocks of coordinates and has a simple known structure over each block. We develop an accelerated randomized proximal coordinate gradient (APCG) method for minimizing such convex composite functions. For strongly convex functions, our method achieves faster linear convergence rates than existing randomized proximal coordinate gradient methods. Without strong convexity, our method enjoys accelerated sublinear convergence rates. We show how to apply the APCG method to solve the regularized empirical risk minimization (ERM) problem, and devise efficient implementations that avoid full-dimensional vector operations. For ill-conditioned ERM problems, our method obtains improved convergence rates than the state-of-the-art stochastic dual coordinate ascent (SDCA) method.

연구 동기 및 목표

• 볼록 복합 최적화 문제에 대해 더 빠른 수렴 속도를 달성하는 가속화된 무작위 프록시멀 좌표 그래디언트 방법을 개발하는 것.
• 기존 방법들이 조건이 나쁜 정규화된 경험 위험 최소화(ERM) 문제를 다루는 데에 한계를 보이는 문제를 해결하는 것.
• 전체 차원의 벡터 연산 없이도 효율적인 구현을 가능하게 하여 대규모 머신 러닝 문제의 확장성을 향상시키는 것.
• 강凸 조건 하에서 가속화된 선형 수렴 속도와 일반적인 경우에 가속화된 비선형 수렴 속도를 달성하는 것.

제안 방법

• APCG 방법은 부드러운 함수 f와 블록 분리 가능한 비미분 함수 Ψ의 합을 최소화하기 위해 무작위 블록 좌표 업데이트와 프록시멀 부분문제를 사용한다.
• 수렴 속도 향상을 위해 네스테로프의 가속화 기법을 모멘타주 유사 업데이트와 추정 수열 프레임워크를 통해 통합한다.
• ρk+1 → 0일 때 오버플로우를 방지하기 위해 스케일된 변수 u̅와 p̅를 사용하여 수치적으로 안정적인 방식으로 두 보조 벡터 u와 p를 갱신한다.
• 선형 탐색 전략을 적용하여 스텝 크기를 적응적으로 조정하고 실무 성능을 향상시킨다.
• 희소성과 블록 구조를 활용하여 전체 차원의 벡터 연산을 피함으로써 대규모 데이터셋에서 효율적인 계산을 가능하게 한다.
• ERM 문제의 경우 스무드한 허프 루프 손실을 사용하고 이중 문제를 재구성하여 효율적인 좌표 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규화된 ERM 문제에 대해 기존의 무작위 좌표 강내법보다 더 빠른 수렴 속도를 달성할 수 있는 가속화된 프록시멀 좌표 그래디언트 방법을 설계할 수 있는가?
• RQ2 비미분적이며 블록 분리 가능한 정규화 조건이 존재하는 상황에서 가속화를 효과적으로 블록 좌표 업데이트와 융합할 수 있는가?
• RQ3 제안된 APCG 방법이 조건이 나쁜 ERM 문제에서 SDCA와 AFG에 비해 향상된 수렴 속도를 달성하는가?
• RQ4 전체 차원의 벡터 연산 없이도 효율적인 구현이 가능하여 확장성이 유지되는가?

주요 결과

• APCG 방법은 강凸 문제에 대해 기존의 무작위 프록시멀 좌표 그래디언트 방법보다 가속화된 선형 수렴 속도를 달성한다.
• 강凸이 아닐 경우, APPROX 방법의 가속화된 비선형 수렴 속도를 회복하여 통합된 프레임워크를 제공한다.
• 조건이 나쁜 ERM 문제에서 APCG는 SDCA와 AFG보다 더 효과적으로 원시 목표 함수 갭과 원시-이중 갭을 감소시키며, 특히 작은 정규화 파rameter(λ = 10−8)에서 두드러진 성능을 보인다.
• RCV1, covtype, News20 데이터셋에 대한 수치 실험 결과, APCG는 최종 프록시멀 전체 그래디언트 단계 없이도 모든 설정에서 뛰어난 성능을 유지한다.
• 희소 연산과 안정적인 변수 스케일링 덕분에 각 반복이 SDCA의 두 배 이내의 비용으로 수치적으로 안정적이고 효율적이며, 확장성에 유리하다.