[논문 리뷰] LocalNewton: Reducing Communication Bottleneck for Distributed Learning

Vipul Gupta, Avishek Ghosh외 4명|arXiv (Cornell University)|2021. 05. 16.

Stochastic Gradient Optimization Techniques참고 문헌 47인용 수 4

한 줄 요약

이 논문은 마스터와 동기화하기 전에 워커들이 다수의 로컬 뉴턴 스텝을 수행할 수 있도록 허용함으로써 통신 오버헤드를 줄이는 분산 2차 최적화 알고리즘인 LocalNewton을 제안한다. AWS 람다에서 최신 기술 대비 통신 라운드 수의 60% 미만, 종료에서 종료까지 학습 시간의 40% 미만을 달성하며, 수렴을 정밀하게 조정하기 위해 로컬 반복 횟수를 동적으로 감소시키는 적응형 변형도 제공한다.

ABSTRACT

To address the communication bottleneck problem in distributed optimization within a master-worker framework, we propose LocalNewton, a distributed second-order algorithm with local averaging. In LocalNewton, the worker machines update their model in every iteration by finding a suitable second-order descent direction using only the data and model stored in their own local memory. We let the workers run multiple such iterations locally and communicate the models to the master node only once every few (say L) iterations. LocalNewton is highly practical since it requires only one hyperparameter, the number L of local iterations. We use novel matrix concentration-based techniques to obtain theoretical guarantees for LocalNewton, and we validate them with detailed empirical evaluation. To enhance practicability, we devise an adaptive scheme to choose L, and we show that this reduces the number of local iterations in worker machines between two model synchronizations as the training proceeds, successively refining the model quality at the master. Via extensive experiments using several real-world datasets with AWS Lambda workers and an AWS EC2 master, we show that LocalNewton requires fewer than 60% of the communication rounds (between master and workers) and less than 40% of the end-to-end running time, compared to state-of-the-art algorithms, to reach the same training~loss.

연구 동기 및 목표

• 서버리스 컴퓨팅과 같은 고지연 시간 환경에서 분산 최적화의 통신 병목 현상을 해결하기 위해.
• 통신 횟수를 최소화하면서도 수렴 속도를 흐리지 않게 하는 실용적인 2차 방법을 설계하기 위해.
• 학습 진행 상황에 따라 로컬 반복 횟수를 동적으로 조정하는 적응형 기법을 개발하기 위해.
• 로컬 평균화 하에 수렴하는 데 있어 행렬 농도 기법을 사용한 이론적 보장을 제공하기 위해.
• 실제 데이터셋을 대상으로 종료에서 종료까지의 학습 시간과 통신 라운드 수를 크게 줄이는 것을 입증하기 위해.

제안 방법

• LocalNewton는 각 워커에서 로컬 데이터와 모델 파라미터만을 사용하여 다수의 로컬 뉴턴 스텝을 수행함으로써 마스터-워커 동기화의 빈도를 줄인다.
• 알고리즘은 각 통신 라운드당 고정된 수의 로컬 반복 횟수 $ L $를 사용하며, $ L $는 단일 하이퍼파rameter로 선택된다.
• 새로운 행렬 농도 기법을 통해 이론적으로 수렴성을 확립하였으며, 전역 최소값 주변의 작은 노름 볼로의 수렴을 보여준다.
• 적응형 변형인 Adaptive LocalNewton는 관측된 손실 변화에 따라 $ L $ 를 시간이 지남에 따라 감소시키며, 최종적으로 $ L=1 $이 되면 GIANT로 전환한다.
• 각 워커에서 배경선색 검색을 통해 스텝 크기를 계산하여 내림차순과 안정성을 보장한다.
• 이 방법은 100개의 워커를 사용하여 AWS 람다에서 평가되었으며, w8a, covtype, EPSILON, a9a, ijcnn1 등의 실세계 데이터셋을 사용하였다.

실험 결과

연구 질문

• RQ1 로컬 평균화를 사용하는 2차 최적화 방법이 분산 학습에서 통신 라운드 수를 크게 줄일 수 있는가?
• RQ2 로컬 반복 횟수 $ L $ 의 선택이 수렴성과 통신 효율성에 어떤 영향을 미치는가?
• RQ3 $ L $ 에 대한 적응형 전략이 고지연 시간 환경에서 모델 품질 향상과 학습 시간 단축에 기여할 수 있는가?
• RQ4 LocalNewton이 서버리스 환경에서 최신 기술의 1차 및 2차 방법보다 더 나은 종료에서 종료 성능을 달성할 수 있는가?
• RQ5 로컬 평균화와 제한된 통신 조건 하에서 LocalNewton의 이론적 수렴 행동은 어떠한가?

주요 결과

• Adaptive LocalNewton는 AWS 람다에서 동일한 학습 손실에 도달하기 위해 최신 기술 대비 통신 라운드 수를 60% 미만으로 줄였다.
• LocalNewton의 종료에서 종료까지 학습 시간은 AWS 람다에서 베이스라인 방법 대비 40% 미만으로 감소하였으며, 이는 통신 라운드 수 감소로 직접 기인하였다.
• 모든 테스트된 데이터셋에 대해 Adaptive LocalNewton는 초기 값 3에서 시작하여 점차 $ L $ 를 감소시키며, 최종적으로 $ L=1 $이 되면 GIANT로 전환한다.
• 알고리즘은 국소적으로 2차 정보를 활용함으로써 빠른 진전을 이끌어내어 최소한의 통신으로 최적 해에 가까이 빠르게 수렴한다.
• 실증 결과는 w8a, covtype, EPSILON, a9a, ijcnn1 등의 다섯 개의 실세계 데이터셋에서 동일한 워커 수와 정규화 조건 하에 일관된 향상을 보였다.
• 이론적 분석은 LocalNewton가 전역 최소값 주변의 작은 반지름의 노름 볼로 수렴함을 확인하였으며, 이는 효과적인 초기화 전략으로서의 역할을 뒷받침한다.