[논문 리뷰] Accelerated Stochastic Greedy Coordinate Descent by Soft Thresholding Projection onto Simplex

Chaobing Song, Shaobo Cui외 2명|arXiv (Cornell University)|2017. 02. 25.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 Nesterov의 가속화와 스위치 최적화를 조합하고, ℓ1-노름 제곱 근사에 기반한 새로운 탐욕적 선택 규칙을 도입한 가속화된 스위치 그레디언트 좌표 강하(ASGCD)를 제안한다. 이는 결과적으로 발생하는 볼록 하위문제의 정확한 해를 구하기 위한 SOTOPO 알고리즘을 도입하여, 샘플 크기의 배수만큼 탐욕적 선택 복잡도를 감소시키며, 고차원, 밀도가 높고 해가 희박한 문제에서 성능을 크게 향상시킨다. 수렴 속도는 최적의 O(√(1/ϵ))를 달성한다.

ABSTRACT

In this paper we study the well-known greedy coordinate descent (GCD) algorithm to solve $\ell_1$-regularized problems and improve GCD by the two popular strategies: Nesterov's acceleration and stochastic optimization. Firstly, we propose a new rule for greedy selection based on an $\ell_1$-norm square approximation which is nontrivial to solve but convex, then an efficient algorithm called "SOft ThreshOlding PrOjection (SOTOPO)" is proposed to exactly solve the $\ell_1$-regularized $\ell_1$-norm square approximation problem, which is induced by the new rule. Based on the new rule and the SOTOPO algorithm, the Nesterov's acceleration and stochastic optimization strategies are then successfully applied to the GCD algorithm. The resulted algorithm called accelerated stochastic greedy coordinate descent (ASGCD) has the optimal convergence rate $O(\sqrt{1/ε})$, meanwhile, it reduces the iteration complexity of greedy selection up to a factor of sample size. Both theoretically and empirically, we show that ASGCD has better performance for high-dimensional and dense problems with sparse solution.

연구 동기 및 목표

• 기존의 Gauss-Southwell 규칙에서 카디널리티 제약으로 인한 비볼록성으로 인해 기존 그레디언트 좌표 강하(GCD)가 최적 수렴 속도를 달성하지 못하는 문제를 해결하기 위해.
• Nesterov의 가속화를 가능하게 하기 위해 ℓ1-노름 제곱 근사를 사용한 GCD 하위문제의 볼록 재구성 방법을 개발하기 위해.
• 완전한 그레디언트 계산을 피하기 위해 스위치 최적화를 도입하여 탐욕적 선택의 반복 복잡도를 감소시키기 위해.
• ℓ1-정규화 문제를 위한 가속화, 스위치성, 그리고 새로운 하위문제의 정확한 해를 동시에 구현하는 효율적인 알고리즘 설계를 위해.

제안 방법

• 부드러운 함수 f(x)의 ℓ1-노름 제곱 근사를 기반으로 한 새로운 탐욕적 선택 규칙을 제안하여 기존의 이차 근사 대체.
• 결과적으로 발생하는 ℓ1-정규화된 ℓ1-노름 제곱 문제를 정확히 해결하기 위해 SOft ThreshOlding PrOjection (SOTOPO) 알고리즘을 도입하며, 이는 O(d + |Q| log |Q|) 시간 내에 해결 가능하며, 여기서 |Q| ≪ d 이다.
• 적절히 설계된 미러 강하 단계를 통해 Nesterov의 가속화를 적용하여 최적의 O(√(1/ϵ)) 수렴 속도를 달성.
• 완전한 그레디언트 계산을 피하기 위해 반복마다 하나의 학습 예제를 샘플링하는 스위치 최적화를 적용하여, 탐욕적 선택 비용을 샘플 크기 n의 배수만큼 감소.
• 새로운 선택 규칙, SOTOPO, 그리고 스위치 가속화를 통합하여 통합 알고리즘인 가속화된 스위치 그레디언트 좌표 강하(ASGCD)를 구성.
• Bregman 발산과 텔레스코프 부등식을 사용한 커플링 추론을 통해 수렴성을 증명하며, 매개변수를 조정하여 최적의 수렴 속도를 확보.

실험 결과

연구 질문

• RQ1 카디널리티 제약으로 인해 하위문제가 비볼록이 되는 상황에서, Nesterov의 가속화가 그레디언트 좌표 강하에 성공적으로 적용될 수 있는가?
• RQ2 ℓ1-노름 제곱 근사를 통한 GCD 하위문제의 볼록 재구성은 희박성과 효율성을 유지하면서 가속화를 가능하게 할 수 있는가?
• RQ3 완전한 그레디언트 계산 없이도 스위치 최적화를 탐욕적 선택에 통합할 수 있으며, 수렴 보장은 유지되는가?
• RQ4 제안된 ASGCD 알고리즘이 ℓ1-정규화 문제에 대해 최적의 O(√(1/ϵ)) 수렴 속도를 달성하는가?
• RQ5 고차원, 밀도가 높고 해가 희박한 문제에서, ASGCD는 최신 기술 대비 반복 복잡도와 수렴 속도 측면에서 어떻게 비교되는가?

주요 결과

• ASGCD는 ℓ1-정규화 문제에 대해 최적의 수렴 속도인 O(√(1/ϵ))를 달성하며, 1차 방법에서 알려진 최고 수준의 속도와 일치한다.
• 스위치 샘플링을 통해 탐욕적 선택의 반복 복잡도가 샘플 크기 n의 배수만큼 감소하여, 완전한 그레디언트 계산을 피할 수 있다.
• SOTOPO 알고리즘은 O(d + |Q| log |Q|) 시간 내에 ℓ1-정규화된 ℓ1-노름 제곱 문제를 해결하며, 이는 이전의 유클리드 프로젝션 방법인 SOPOPO(요구하는 시간 O(d log d))보다 뛰어난 성능을 보인다.
• 고차원 및 밀도가 높은 문제에서 해가 희박한 경우, ASGCD는 이론적으로나 실험적으로 최신 기술 대비 뛰어난 성능을 보인다.
• 이론적 분석 결과, ASGCD는 F(x) − F(x*) ≤ ϵ를 달성하기 위해 O(√(C L1 ||x*||1 / √ϵ))회의 반복을 요구하며, 여기서 C는 차원 d에 따라 느리게 증가하고 log²(d) 이하로 상한이 설정된다.
• 최종 수렴 한계는 E[F(˜xS) − F(x*)] ≤ 4/(S + 3)² × (1 + (1 + 2β(b))/(2m) × C) × L||x*||₁²로 표현되며, 이는 최적의 수렴 속도와 문제 매개변수에 대한 의존성을 확인한다.