[논문 리뷰] Alternating Randomized Block Coordinate Descent

Jelena Diakonikolas, Lorenzo Orecchia|OpenBU (Boston University)|2018. 05. 23.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 7

한 줄 요약

이 논문은 단일 블록(비가속성일 수 있음)에 대한 정확한 최적화와 다른 무작위로 선택된 블록에 대한 기울기 단계를 번갈아가며 수행하는 새로운 블록좌표강하 알고리즘인 AR-BCD를 소개한다. 이 알고리즘은 가장 비가속성 블록의 가속성에 의존하지 않는 수렴 속도를 달성하며, 두 블록을 초월하는 교대 최소화의 일반화와 함께, 가속화된 변종인 AAR-BCD를 통해 최초의 가속화된 교대 최소화 알고리즘을 가능하게 한다.

ABSTRACT

Block-coordinate descent algorithms and alternating minimization methods are fundamental optimization algorithms and an important primitive in large-scale optimization and machine learning. While various block-coordinate-descent-type methods have been studied extensively, only alternating minimization -- which applies to the setting of only two blocks -- is known to have convergence time that scales independently of the least smooth block. A natural question is then: is the setting of two blocks special? We show that the answer is "no" as long as the least smooth block can be optimized exactly -- an assumption that is also needed in the setting of alternating minimization. We do so by introducing a novel algorithm AR-BCD, whose convergence time scales independently of the least smooth (possibly non-smooth) block. The basic algorithm generalizes both alternating minimization and randomized block coordinate (gradient) descent, and we also provide its accelerated version -- AAR-BCD. As a special case of AAR-BCD, we obtain the first nontrivial accelerated alternating minimization algorithm.

연구 동기 및 목표

• 교대 최소화의 유리한 수렴 스케일링(가장 비가속성 블록에 의존하지 않음)이 두 블록에만 국한되는지, 아니면 더 많은 블록으로 일반화될 수 있는지 확인하는 것.
• 정확한 최적화가 가능한 한 블록의 가속성에 의존하지 않는 블록좌표강하 방법을 설계하는 것.
• 최적의 1/k² 수렴 속도를 달성하는 가속화된 변종을 개발하는 것. 이 경우에도 가장 비가속성 블록의 가속성에 의존하지 않음.
• 기존 방법들을 통합 및 일반화하는 것: 무작위 블록좌표강하와 교대 최소화를 통합하며, 가속화를 가능하게 함.

제안 방법

• AR-BCD는 고정된 블록(비가속성일 수 있음)에 대한 정확한 최소화와 나머지 블록들 중에서 무작위로 선택된 한 블록에 대한 무작위 기울기 강하를 번갈아 수행한다.
• 블록을 선택하기 위해 블록의 가속성 매개변수 비례 확률을 사용한다.
• AAR-BCD는 Nesterov 스타일의 모멘타ム과 블록별 업데이트 전략을 활용하여 O(1/k²) 수렴 속도를 달성하는 AR-BCD의 가속화된 버전이다.
• 분석은 Diakonikolas & Orecchia (2017)의 근사 쌍대 갭 기법을 확장하여 간결하고 일반적인 수렴 증명을 제공한다.
• 이 방법은 무작위 블록좌표강하(RCDM)와 교대 최소화를 모두 일반화한다: 비가속성 블록이 없을 경우 RCDM으로 축소되며, 두 블록일 경우 교대 최소화로 축소된다.
• 가속화된 방법의 경우, 비균일한 가속성 분포에서의 성능 향상을 위해 샘플링 확률를 √L_i 비례로 설정한다.

실험 결과

연구 질문

• RQ1 두 블록에 국한된 교대 최소화의 특성인 가장 비가속성 블록에 의존하지 않는 수렴 독립성은 세 개 이상의 블록을 가진 문제로 일반화될 수 있는가?
• RQ2 정확한 최적화가 가능한 한 블록의 가속성에 의존하지 않는 블록좌표강하 알고리즘을 설계할 수 있는가?
• RQ3 이러한 방법의 가속화된 변종이 가장 비가속성 블록의 가속성에 의존하지 않고 최적의 O(1/k²) 수렴 속도를 달성할 수 있는가?
• RQ4 정확한 최소화가 비가속성 블록에 적용될 때, 기존 이론이 그러한 향상을 예측하지 못하더라도, 제안된 방법이 표준 RCDM과 C-BCD를 초월하는가?

주요 결과

• AR-BCD는 정확히 최소화되는 블록의 가속성 L_n에 영향을 받지 않고, O(∑_{i=1}^{n-1} L_i / ε)의 수렴 속도를 달성하며, 두 블록을 초월하는 교대 최소화의 일반화를 가능하게 한다.
• AAR-BCD는 가장 비가속성 블록의 가속성에 의존하지 않고 O(1/k²)의 가속화된 수렴 속도를 달성하여, 최초의 가속화된 교대 최소화 알고리즘을 제공한다.
• 비가속성 블록이 없을 경우, AAR-BCD는 기존에 알려진 가장 빠른 블록좌표강하 수렴 경계를 복원하며, Qu & Richtárik (2016), Allen-Zhu 등 (2016), Nesterov (2012)의 결과와 일치한다.
• 실험 결과는 AR-BCD가 RCDM과 C-BCD를 뛰어넘으며, 특히 가속성 매개변수의 비균일성이 높을 경우에 뚜렷한 성능 향상을 보인다. 또한 AAR-BCD는 이러한 조건에서 APCG와 NU_ACDM을 크게 능가한다.
• 기존 이론적 경계가 그러한 향상을 예측하지 못함에도 불구하고, AR-BCD가 표준 RCDM와 C-BCD를 초월하는 성능 향상이 실험적으로 관측됨에 따라, 더 엄밀한 분석의 잠재력이 있음이 시사된다.
• AAR-BCD는 블록 크기가 커지고 가속성 격차가 커질수록 다른 방법들에 비해 뚜렷한 향상을 보이며, 특히 √L_i 비례로 샘플링이 이루어지는 비균일한 경우에 두드러진다.