[논문 리뷰] Stochastic Primal-Dual Coordinate Method for Regularized Empirical Risk Minimization

Yuchen Zhang, Lin Xiao|arXiv (Cornell University)|2014. 09. 10.

Sparse and Compressive Sensing Techniques참고 문헌 49인용 수 107

한 줄 요약

이 논문은 대규모 머신러닝에서 정규화된 경험 위험 최소화 문제를 위한 Stochastic Primal-Dual Coordinate (SPDC) 방법을 제안한다. 이 방법은 확률적 이중 업데이트와 외삽을 적용한 원천 업데이트를 번갈아 수행하여 가속된 수렴 속도를 달성하며, 효율적인 미니배치 및 가중치 샘플링 변형을 가능하게 하여 복잡도 한계를 향상시킨다.

ABSTRACT

We consider a generic convex optimization problem associated with regularized empirical risk minimization of linear predictors. The problem structure allows us to reformulate it as a convex-concave saddle point problem. We propose a stochastic primal-dual coordinate (SPDC) method, which alternates between maximizing over a randomly chosen dual variable and minimizing over the primal variable. An extrapolation step on the primal variable is performed to obtain accelerated convergence rate. We also develop a mini-batch version of the SPDC method which facilitates parallel computing, and an extension with weighted sampling probabilities on the dual variables, which has a better complexity than uniform sampling on unnormalized data. Both theoretically and empirically, we show that the SPDC method has comparable or better performance than several state-of-the-art optimization methods.

연구 동기 및 목표

• 대규모 정규화된 경험 위험 최소화(ERM) 문제에 대해 배치 기반 경사하강법의 계산 비효율성을 해결한다.
• 고전적 조건 수 κ를 가진 약한 조건 문제에서 빠른 수렴을 달성하면서도 반복당 비용을 낮게 유지하는 최적화 방법을 개발한다.
• 미니배치 변형을 통해 병렬 처리를 효율적으로 지원하고, 이중 변수에 대한 가중치 샘플링을 도입하여 수렴 속도를 향상시킨다.
• 표준 미분 가능성 및 강한 볼록성 가정 하에 기존 최상위 방법들과 비교해도 뛰어난 복잡도 한계를 보장하는 이론적 수렴 보장을 제공한다.

제안 방법

• 원천-이중 최적화를 가능하게 하기 위해 정규화된 ERM 문제를 볼록-볼록 사다리꼴 문제로 재구성한다.
• 무작위로 선택된 이중 변수에 대해 최대화하고 원천 변수에 대해 최소화하는 확률적 원천-이중 좌표(SPDC) 방법을 제안한다.
• 수렴 속도를 가속하기 위해 원천 변수에 외삽 단계를 통합하여 반복 복잡도를 향상시킨다.
• 병렬 및 분산 컴퓨팅을 지원하기 위해 SPDC의 미니배치 버전을 설계하여 전체 런타임을 감소시킨다.
• 이중 변수에 대한 가중치 샘플링 확률을 도입하여, 특히 정규화되지 않은 데이터에서 균일 샘플링보다 더 나은 이론적 복잡도를 달성한다.
• 부호 및 임계값 기반의 재귀적 폐쇄형 공식을 이용해 (ℓ₁ + ℓ₂)-노름 정규화 케이스에서 O(1) 업데이트 절차를 효율적으로 설계한다.

실험 결과

연구 질문

• RQ1 대규모 ERM 문제에 대해 기존의 인크리멘탈 및 확률적 경사하강법보다 더 빠른 수렴을 달성할 수 있는 확률적 원천-이중 좌표 방법이 존재하는가?
• RQ2 원천 업데이트에 외삽을 포함할 경우 SPDC 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 가중치 샘플링 하에서 SPDC의 이론적 복잡도는 균일 샘플링과 비교해 어떻게 되며, 정규화되지 않은 데이터에서의 이점이 있는가?
• RQ4 SPDC 방법은 미니배치 확장에 의해 효율적으로 병렬화될 수 있으며, 수렴 보장을 유지하는가?
• RQ5 표준 머신러닝 벤치마크에서 SAG, SDCA, SVRG와 같은 최신 최적화 알고리즘과 비교해 SPDC는 실증적으로 어떻게 성능을 내는가?

주요 결과

• SPDC 방법은 미분 가능성 및 강한 볼록성 가정을 만족하는 문제에서 반복 복잡도 O(κ log(1/ε))를 가지며 가속된 수렴 속도를 달성한다.
• SPDC의 미니배치 변형은 효율적인 병렬 처리를 가능하게 하며, 대규모 데이터셋에서 런타임을 향상시키면서도 수렴 보장을 유지한다.
• 이중 변수에 대한 가중치 샘플링은 특히 정규화되지 않은 데이터에서 균일 샘플링보다 더 나은 이론적 복잡도 한계를 제공한다.
• (ℓ₁ + ℓ₂)-정규화 문제의 경우, 부호 및 임계값 기반의 재귀적 폐쇄형 해를 이용해 O(1)의 좌표당 업데이트 절차를 지원하여 빠르고 메모리 효율적인 계산을 가능하게 한다.
• 실증 결과에 따르면, SPDC는 SAG, SDCA, SVRG와 같은 최신 최적화 방법들과 비교해 수렴 속도 및 최종 목표 함수 값 측면에서 유사하거나 뛰어난 성능을 보인다.
• 이론적 분석을 통해 표준 가정 하에서 선형 수렴을 유지하며, 조건 수 의존성도 기존 방법들과 비교해 유사하거나 향상된 것을 확인했다.