[논문 리뷰] A Stochastic Newton Algorithm for Distributed Convex Optimization

Brian Bullins, Kumar Kshitij Patel외 3명|arXiv (Cornell University)|2021. 10. 07.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 4

한 줄 요약

이 논문은 분산 볼록 최적화를 위한 스토하스틱 뉴턴 알고리즘인 FedSN을 제안한다. 이 알고리즘은 통신 라운드 수를 줄이기 위해 스토하스틱 헤시안-벡터 곱과 기울기를 활용한다. 하나의 라운드에서 이차 근사의 한 번에 평균화함으로써 뉴턴 스텝을 해결함으로써, 일阶 방법보다 더 빠른 수렴 속도를 달성한다. 로지스틱 회귀와 같은 준-자기동조 목적 함수에 대해 이론적 보장을 제공한다.

ABSTRACT

We propose and analyze a stochastic Newton algorithm for homogeneous distributed stochastic convex optimization, where each machine can calculate stochastic gradients of the same population objective, as well as stochastic Hessian-vector products (products of an independent unbiased estimator of the Hessian of the population objective with arbitrary vectors), with many such stochastic computations performed between rounds of communication. We show that our method can reduce the number, and frequency, of required communication rounds compared to existing methods without hurting performance, by proving convergence guarantees for quasi-self-concordant objectives (e.g., logistic regression), alongside empirical evidence.

연구 동기 및 목표

• 대규모 머신러닝에서 수백만 개의 파라미터를 가진 경우에 발생하는 높은 통신 빈도 문제를 해결한다.
• 수렴 성능을 희생시키지 않고 분산 스토하스틱 최적화에서 통신 횟수를 줄인다.
• 로컬 SGD와 같은 일阶 방법을 초월해 수렴 속도를 가속화하기 위해 두阶 정보(헤시안-벡터 곱)를 활용한다.
• 완전한 헤시안 행렬 계산을 피하면서도 확장 가능한 분산 최적화를 가능하게 하는 실용적인 알고리즘을 설계한다.
• 간헐적 통신 모델 하에서 준-자기동조 목적 함수(예: 로지스틱 회귀)에 대해 이론적 수렴 보장을 제공한다.

제안 방법

• 분산 알고리즘인 페더레이티드-스토하스틱-뉴턴(FedSN)을 제안하여, 이차 하위문제의 한 번에 평균화를 통해 뉴턴 스텝을 근사한다.
• 뉴턴 스텝을 다음의 볼록 이차식 최소화 문제로 재구성한다: $\min_{\Delta x} \frac{1}{2}\Delta x^{\top}\nabla^{2}F(x)\Delta x + \nabla F(x)^{\top}\Delta x$, 이는 분산 평균화를 통해 해결된다.
• 스토하스틱 기울기 오라클과 스토하스틱 헤시안-벡터 곱 오라클을 입력으로 사용하며, 이는 일반화된 선형 모델에 대해 계산적으로 효율적이다.
• 각 머신이 통신하기 전에 라운드당 $K$번의 독립적인 스토하스틱 계산을 수행함으로써 통신 주파수를 낮춘다.
• 하위문제 해결 중에 반복적 통신을 피하기 위해, 이차 하위문제를 한 번의 라운드로 해결하기 위해 한 번에 평균화를 적용한다.
• 로지스틱 회귀의 경우 헤시안-벡터 곱이 랭크-원 연산이므로, 각 샘플당 $\mathcal{O}(d)$ 시간 내에 계산 가능하므로 계산 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 간헐적 통신 환경에서 두阶 정보를 효율적으로 활용하여 통신 횟수를 줄일 수 있는가?
• RQ2 간헐적 통신 모델에서 스토하스틱 헤시안-벡터 곱을 사용할 경우, 일阶 방법보다 수렴 속도가 더 빠른가?
• RQ3 높은 계산 비용 없이 한 번에 평균화를 통해 뉴턴 스텝을 효과적으로 근사할 수 있는가?
• RQ4 준-자기동조 목적 함수에 대해 FedSN의 수렴 속도는 로컬 SGD와 FedAc에 비해 어떻게 비교되는가?
• RQ5 실제로 스토하스틱 기울기 대비 헤시안-벡터 곱 오라클의 계산 오버헤드는 얼마인가?

주요 결과

• FedSN은 최적화 오차에 대해 지수적 감쇠 수렴을 달성하며, 수렴 속도는 $\frac{HB^2}{KR} + \frac{\sigma B}{\sqrt{MK}} + \frac{\rho B^2}{\sqrt{K}R}$ 이다. 여기서 $H$, $\sigma$, $\rho$는 각각 스무스니스, 기울기 분산, 헤시안-벡터 곱 분산이다.
• 실험 결과, 특히 저통신 환경에서, FedSN은 로컬 SGD와 FedAc보다 주어진 정확도에 도달하기 위해 필요한 통신 횟수를 줄이는 것으로 나타났다.
• 로지스틱 회귀의 경우, 헤시안-벡터 곱의 계산 비용은 스토하스틱 기울기와 渐近적으로 유사하여 효율적인 구현이 가능하다.
• 실행 시간 측정 결과, FedSN-Lite는 로컬 SGD보다 약간 느리게 측정되었으며(1단계당 6.67×10⁻⁵초 대비 6.39×10⁻⁵초), 오버헤드가 최소한이었다.
• 단일 통신 라운드 조건에서도 높은 정확도를 유지하여, 뉴턴 스텝에 대해 한 번에 평균화의 효과를 입증했다.
• 간헐적 통신 모델 하에서 $M$대의 머신과 $R$회의 통신 라운드를 고려할 때, 준-자기동조 목적 함수(로지스틱 회귀 포함)에 대해 이론적 보장을 확립했다.