[논문 리뷰] Statistically Preconditioned Accelerated Gradient Method for Distributed Optimization

Hadrien Hendrikx, Lin Xiao외 3명|arXiv (Cornell University)|2020. 02. 25.

Stochastic Gradient Optimization Techniques참고 문헌 34인용 수 16

한 줄 요약

이 논문은 분산 경험 리스크 최소화를 위한 통계적 전처리가 적용된 가속 경사 하강법(SPAG)을 제안한다. 중심화된 서버는 국소적으로 계산된 헤시안 근사값을 사용해 경사 벡터를 전처리함으로써 통신 라운드 수를 줄인다. 이 방법은 전역 손실 함수와 국소 손실 함수 간의 상대 조건수의 제곱근에 비례하는 수렴 속도를 달성하여, 표준 방법에 비해 불량조건 문제에서 성능이 크게 향상된다.

ABSTRACT

We consider the setting of distributed empirical risk minimization where multiple machines compute the gradients in parallel and a centralized server updates the model parameters. In order to reduce the number of communications required to reach a given accuracy, we propose a \emph{preconditioned} accelerated gradient method where the preconditioning is done by solving a local optimization problem over a subsampled dataset at the server. The convergence rate of the method depends on the square root of the relative condition number between the global and local loss functions. We estimate the relative condition number for linear prediction models by studying \emph{uniform} concentration of the Hessians over a bounded domain, which allows us to derive improved convergence rates for existing preconditioned gradient methods and our accelerated method. Experiments on real-world datasets illustrate the benefits of acceleration in the ill-conditioned regime.

연구 동기 및 목표

• 국소 손실 함수와 전역 손실 함수 간의 통계적 유사성을 활용하여 분산 경험 리스크 최소화의 통신 복잡도를 줄이기.
• 표준 1차 방법이 느린 수렴을 보이는 불량조건 문제에서 수렴 속도를 향상시키기.
• 서버에서 부분 샘플링된 데이터를 기반으로 국소 최적화를 수행해 전처리 전략을 개발함으로써, 최소한의 통신 오버헤드로 빠른 수렴을 달성하기.
• 유한 도메인에서 헤시안의 균일 농도를 이용한 전역 손실과 국소 손실 간의 상대 조건수 이론적 분석을 통해 더 날카운 수렴 경계 확보하기.

제안 방법

• 기준 함수 φ는 국소 손실 함수에 이차 정규화를 추가하여 구성된 브레그만 발산 기반 전처리 프레임워크를 사용한다.
• 각 반복 단계에서 서버는 부분 샘플링된 데이터셋에서 국소 최적화 문제를 풀어 전역 손실의 헤시안을 근사하는 전처리 행렬을 계산한다.
• 알고리즘은 전처리된 경사 하강 단계에 네스테로프 스타일의 가속을 적용하여 통신 횟수 기준 수렴 속도를 O(√κ_F/φ log(1/ε))로 달성한다.
• 라인 서치 메커니즘이 동적으로 보정 계수 G_t를 조정하여 상대적 매끄러움과 안정성을 확보하며, G_t = 1일 경우 통신 비용이 최소화된다.
• 유한 도메인에서 헤시안의 균일 농도에 기반한 이론적 분석을 통해 전역 및 국소 손실 간의 상대 조건수 추정이 가능하며, 선형 예측 모델에 대해 적용 가능하다.
• 중앙 집중식 서버-워커 아키텍처에서 워커들이 국소 경사를 계산하고 서버로 전송하여 모델 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 국소 손실 함수와 전역 손실 함수 간의 통계적 유사성을 활용하여 분산 최적화에서 통신 복잡도를 줄일 수 있는가?
• RQ2 국소 헤시안 근사값을 기반으로 한 전처리 전략이 불량조건 문제에서 수렴 속도를 어떻게 향상시킬 수 있는가?
• RQ3 전역 손실과 국소 손실 간의 상대 조건수와 전처리된 가속 방법의 수렴 속도 사이의 이론적 관계는 무엇인가?
• RQ4 국소 하위문제를 푸는 정확도가 전처리된 가속 방법의 성능에 어떤 영향을 미치는가?
• RQ5 라인 서치를 통한 적응형 보정 계수 선택은 통신 비용 증가 없이 수렴을 유지할 수 있는가?

주요 결과

• SPAG의 수렴 속도는 전역 손실 함수와 국소 손실 함수 간의 상대 조건수의 제곱근에 의존하여, 더 높은 통신 효율성을 달성한다.
• 선형 예측 모델의 경우, 헤시안의 균일 농도를 통해 상대 조건수가 유한하게 유계화되며, 이는 향상된 수렴 속도의 이론적 근거를 제공한다.
• 실제 데이터셋에 대한 실험 결과, SPAG는 DANE 및 HB-DANE보다 더 빠른 수렴을 보이며, 특히 불량조건 영역에서 두드러진 성능 향상을 보였다.
• 실제로는 초기화가 열악하더라도 헤시안의 변화 속도가 최적점에서 멀리 떨어져 있을 경우 느리므로 보정 계수 G_t는 작게 유지된다(종종 ≤1).
• G_min = 0인 라인 서치를 사용하면 적응성이 약간 향상되지만 반복 횟수 감소 효과는 크지 않아, G_t = 1이 충분하고 통신 효율적임을 시사한다.
• 다양한 초기화 조건에서의 부적합도 곡선이 거의 구분되지 않으며, 고차원 환경에서 이차 페널티 항이 지배적이기 때문에 강건함을 보였다.