[논문 리뷰] Accelerating Greedy Coordinate Descent Methods

Haihao Lu, Robert M. Freund외 1명|arXiv (Cornell University)|2018. 06. 07.

Stochastic Gradient Optimization Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 O(1/k²) 수렴을 달성하기 위해 두 가지 가속화된 좌표 강하 알고리즘—가속화된 반-그리디 좌표 강하(ASCD)와 가속화된 그리디 좌표 강하(AGCD)—을 제안한다. ASCD는 강력한 볼록성 하에서 이론적으로 O(1/k²) 수렴과 가속화된 선형 수렴을 달성한다. 반면 AGCD는 이론적 보장이 없음에도 불구하고 실증적으로 다른 방법들을 능가하며, 리아푸노프 분석을 통해 그 성공을 설명하는 기술적 조건을 규명하고, 이 조건은 실질적으로도 성립한다.

ABSTRACT

We study ways to accelerate greedy coordinate descent in theory and in practice, where "accelerate" refers either to $O(1/k^2)$ convergence in theory, in practice, or both. We introduce and study two algorithms: Accelerated Semi-Greedy Coordinate Descent (ASCD) and Accelerated Greedy Coordinate Descent (AGCD). While ASCD takes greedy steps in the $x$-updates and randomized steps in the $z$-updates, AGCD is a straightforward extension of standard greedy coordinate descent that only takes greedy steps. On the theory side, our main results are for ASCD: we show that ASCD achieves $O(1/k^2)$ convergence, and it also achieves accelerated linear convergence for strongly convex functions. On the empirical side, we observe that both AGCD and ASCD outperform Accelerated Randomized Coordinate Descent on a variety of instances. In particular, we note that AGCD significantly outperforms the other accelerated coordinate descent methods in numerical tests, in spite of a lack of theoretical guarantees for this method. To complement the empirical study of AGCD, we present a Lyapunov energy function argument that points to an explanation for why a direct extension of the acceleration proof for AGCD does not work; and we also introduce a technical condition under which AGCD is guaranteed to have accelerated convergence. Last of all, we confirm that this technical condition holds in our empirical study.

연구 동기 및 목표

• 이론과 실무에서 모두 그리디 좌표 강하 방법의 수렴 속도를 가속화하여 O(1/k²) 수렴 속도를 달성하는 것.
• 그리디 x-업데이트와 랜덤화된 z-업데이트를 조합한, 이론적으로 탄탄한 가속화 방법(ASCD)을 개발하는 것.
• 순수 그리디 확장인 AGCD가 이론적 보장이 없음에도 불구하고 실증적으로 기존의 가속화 방법들을 능가함을 보여주는 것.
• 리아푸노프 에너지 함수 분석을 통해 AGCD의 실증적 성공을 설명하고, 가속화된 수렴을 달성할 수 있는 기술적 조건을 규명하는 것.
• 제안된 기술적 조건이 실질 최적화 사례에서 성립함을 검증하여 관찰된 성능 향상의 타당성을 뒷받침하는 것.

제안 방법

• x-변수에 대해 그리디 업데이트, z-변수에 대해 랜덤화된 업데이트를 사용하는 ASCD를 도입하여, 네스테로프의 가속화 기법과 그리디 좌표 선택을 융합한다.
• 수정된 스무쓰니스 조건 하에서 그리디 좌표 단계가 전체 기울기 단계보다 더 큰 진전을 이룰 수 있음을 보여주는 새로운 증명 기법을 개발한다.
• 리아푸노프 에너지 함수 분석을 적용하여 AGCD의 수렴을 분석하고, 순수 그리디 방법에 대해 표준 가속화 증명 기법이 실패하는 이유를 규명한다.
• AGCD가 O(1/k²) 수렴을 보장하는 기술적 조건을 도입하여 이론과 실증 성능 간의 연결 고리를 마련한다.
• 효율적인 좌표 업데이트 구조를 사용하여 AGCD와 ASCD를 구현하며, 로지스틱 회귀의 경우 사전 계산된 행렬 저장 및 랭크-1 업데이트를 통해 계산 비용을 최적화한다.
• 표준 네스테로프 스타일의 가속화 프레임워크를 그리디 및 반-그리디 설정에 적응시켜 적용하였으며, 합성 및 LIBSVM 데이터셋을 대상으로 수치 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 그리디 좌표 강하가 이론적으로 O(1/k²) 수렴을 달성할 수 있는가? 만약 가능하다면 어떤 조건에서 가능한가?
• RQ2 이론적 수렴 보장이 없음에도 불구하고 AGCD가 순수 그리디 방법임에도 불구하고 다른 가속화 방법들을 실증적으로 능가하는 이유는 무엇인가?
• RQ3 AGCD가 가속화된 수렴을 달성할 수 있도록 하는 기술적 조건은 무엇이며, 실질 최적화 사례에서 이 조건이 성립하는가?
• RQ4 ASCD와 AGCD는 ARCD와 비가속화된 GCD에 비해 다양한 머신러닝 문제에서 수렴 속도와 실행 시간 측면에서 어떻게 비교되는가?
• RQ5 리아푸노프 에너지 함수 분석을 통해 표준 가속화 증명 기법이 그리디 업데이트의 맥락에서 실패하는 이유를 설명할 수 있는가?

주요 결과

• ASCD는 새로운 증명 기법을 통해 수정된 스무쓰니스 조건 하에서 그리디 단계가 전체 기울기 단계를 능가할 수 있음을 보여주며, 이론적으로 O(1/k²) 수렴을 달성한다.
• ASCD는 강력한 볼록 함수에 대해 가속화된 선형 수렴을 달성하여, 가속화된 그리디 방법에 대한 이론적 보장을 제공한다.
• AGCD는 대부분의 테스트 케이스에서 ARCD와 ASCD를 실증적으로 능가하며, 특히 수렴에 필요한 반복 횟수 측면에서 뛰어난 성능을 보인다. 이는 이론적 수렴 경계가 없음에도 불구하고 성립한다.
• 리아푸노프 에너지 함수 분석을 통해 표준 가속화 증명 기법이 AGCD에 대해 실패하는 이유는 x와 z 수열 간의 일관성 없는 좌표 선택 때문임을 규명하였다.
• AGCD의 가속화된 수렴을 보장하는 데 필요한 기술적 조건이 여러 데이터셋에서 실증적으로 성립함을 검증하여, 그 뛀뜨난 실질적 성능을 설명할 수 있었다.
• 로지스틱 회귀 실험에서 AGCD는 가장 짧은 실행 시간 내에 최저의 최적성 갭을 달성했으며, ASCD는 대부분의 경우 ARCD를 능가하는 성능을 보였다.