[논문 리뷰] Distributed Second Order Methods with Fast Rates and Compressed Communication

Rustem Islamov, Xun Qian외 1명|arXiv (Cornell University)|2021. 02. 14.

Stochastic Gradient Optimization Techniques참고 문헌 51인용 수 11

한 줄 요약

이 논문은 통신 비용을 크게 줄이며 빠른 국소 수렴을 달성하는 통신 효율적인 분산 2차 최적화 방법인 NEWTON-STAR, NEWTON-LEARN 및 CUBIC-NEWTON-LEARN을 제안한다. 확률적 희소화를 통한 헤시안 매개변수 학습과 삼차 정규화를 활용함으로써, 이 방법들은 뉴턴 방법의 2차 수렴 속도를 유지하면서도 최신 기술 대비 통신 비용을 수개월 수준으로 감소시킨다.

ABSTRACT

We develop several new communication-efficient second-order methods for distributed optimization. Our first method, NEWTON-STAR, is a variant of Newton's method from which it inherits its fast local quadratic rate. However, unlike Newton's method, NEWTON-STAR enjoys the same per iteration communication cost as gradient descent. While this method is impractical as it relies on the use of certain unknown parameters characterizing the Hessian of the objective function at the optimum, it serves as the starting point which enables us design practical variants thereof with strong theoretical guarantees. In particular, we design a stochastic sparsification strategy for learning the unknown parameters in an iterative fashion in a communication efficient manner. Applying this strategy to NEWTON-STAR leads to our next method, NEWTON-LEARN, for which we prove local linear and superlinear rates independent of the condition number. When applicable, this method can have dramatically superior convergence behavior when compared to state-of-the-art methods. Finally, we develop a globalization strategy using cubic regularization which leads to our next method, CUBIC-NEWTON-LEARN, for which we prove global sublinear and linear convergence rates, and a fast superlinear rate. Our results are supported with experimental results on real datasets, and show several orders of magnitude improvement on baseline and state-of-the-art methods in terms of communication complexity.

연구 동기 및 목표

• 분산 기계학습에서의 통신 병목 현상을 해결하기 위해 통신 오버헤드가 낮은 2차 최적화 방법을 설계한다.
• 기존 뉴턴 방법의 높은 반복당 통신 비용을 줄이면서도 빠른 수렴 속도를 유지한다.
• 분산 환경에서 헤시안 정보를 효율적으로 학습하는 실용적이고 전역 수렴 보장이 되는 뉴턴형 방법의 변종을 개발한다.
• 적응형 헤시안 학습과 압축을 통해 조건수에 의존하지 않는 빠른 국소 수렴을 달성한다.
• 삼차 정규화를 통해 전역 수렴을 보장하여 다양한 문제 조건에서 견고한 성능을 확보한다.

제안 방법

• 뉴턴형 방법인 NEWTON-STAR를 제안하여 단일 헤시안 근사치를 사용함으로써 기울기 하강법 수준의 통신 비용으로 2차 수렴을 달성한다.
• 확률적 희소화 전략을 도입하여 통신 비용을 최소화하면서도 미지의 헤시안 매개변수를 반복적으로 효율적으로 학습함으로써 NEWTON-LEARN을 도입한다.
• λ > 0 및 λ ≥ 0 조건 하에서 헤시안 계수를 학습하는 NL1 및 NL2 변종을 설계하여 빠른 국소 수렴을 가능하게 한다.
• NEWTON-LEARN에 삼차 정규화를 적용하여 전역 수렴 보장을 확보한 CUBIC-NEWTON-LEARN(CNL)을 설계한다. 이는 하향, 선형, 초선형 수렴 속도를 제공한다.
• 랜덤 희소화, 딜레이팅, 자연 압축과 같은 압축 연산자를 사용하여 수렴 속도를 희생시키지 않은 채 통신 대역폭을 줄인다.
• 이론적 분석을 통해 NEWTON-LEARN은 국소 선형 및 초선형 수렴을 증명하고, CNL은 전역 하향 및 선형 수렴을 보이며, 유리한 조건에서는 초선형 수렴 속도를 확보한다.

실험 결과

연구 질문

• RQ1 분산 2차 최적화 방법이 기존 1차 최적화 방법 수준의 통신 효율성을 유지하면서도 뉴턴과 유사한 빠른 수렴을 달성할 수 있는가?
• RQ2 분산 환경에서 높은 통신 비용 없이 헤시안 정보를 반복적으로 학습하고 압축할 수 있는가?
• RQ3 삼차 정규화를 사용한 통신 효율적인 2차 최적화 방법에 대해 어떤 전역 수렴 보장을 확보할 수 있는가?
• RQ4 다양한 데이터셋과 압축 기법에서 최신 기술의 1차 및 2차 최적화 방법과 비교해 볼 때, 제안된 방법의 통신 복잡도는 어떻게 되는가?
• RQ5 방법의 성능이 조건수 또는 정규화 매개변수에 얼마나 의존하는가?

주요 결과

• NEWTON-LEARN는 조건수에 의존하지 않는 국소 초선형 수렴을 달성하여, BFGS 및 ADIANA와 비교해 통신 복잡도 측면에서 크게 뛰어나다.
• NL1 및 NL2는 특히 저랭크 압축(예: r = d/4) 조건에서 뉴턴 방법 대비 통신 비용을 수 개월 수준으로 감소시킨다.
• CUBIC-NEWTON-LEARN는 전역 하향 및 선형 수렴을 달성하며, 유리한 조건에서는 초선형 수렴 속도를 확보한다. 정규화 매개변수 λ가 작을 경우 DIANA 및 DCGD를 능가한다.
• phishing, a9a, w8a와 같은 실제 데이터셋에서 NL1 및 NL2는 모든 압축 유형에서 ADIANA 및 DINGO를 일관되게 능가하며, 통신 효율 측면에서 수 개월 수준의 개선을 보였다.
• 작은 정규화 매개변수(λ = 10⁻⁴, 10⁻⁵) 조건에서 CNL은 조건수에 민감한 고전적 1차 최적화 방법(DIANA, DCGD)보다 뛰어난 성능을 보였다.
• 실험 결과는 통신 복잡도가 성능의 주요 병목 요소임을 확인하였으며, 제안된 방법은 수렴 속도와 통신 비용 사이의 우수한 트레이드오���을 달성한다.