[논문 리뷰] Adaptive Serverless Learning

Hongchang Gao, Heng Huang|arXiv (Cornell University)|2020. 08. 24.

Privacy-Preserving Technologies in Data참고 문헌 27인용 수 4

한 줄 요약

이 논문은 각 워커별로 로컬 데이터에 기반해 학습률을 동적으로 조정하는 최초의 적응형 분산 학습 방법인 Decentralized Adam을 제안한다. 이는 워커 수에 비례한 선형 속도 향상을 가능하게 한다. 또한 통신 주기를 건너뛰고 모델 업데이트를 압축하는 통신 효율성 있는 변형을 도입하여 이론적 수렴성과 함께 선형 속도 향상을 달성했으며, 희박하고 분류형 데이터 작업에서 실증적으로도 효과적이다.

ABSTRACT

With the emergence of distributed data, training machine learning models in the serverless manner has attracted increasing attention in recent years. Numerous training approaches have been proposed in this regime, such as decentralized SGD. However, all existing decentralized algorithms only focus on standard SGD. It might not be suitable for some applications, such as deep factorization machine in which the feature is highly sparse and categorical so that the adaptive training algorithm is needed. In this paper, we propose a novel adaptive decentralized training approach, which can compute the learning rate from data dynamically. To the best of our knowledge, this is the first adaptive decentralized training approach. Our theoretical results reveal that the proposed algorithm can achieve linear speedup with respect to the number of workers. Moreover, to reduce the communication-efficient overhead, we further propose a communication-efficient adaptive decentralized training approach, which can also achieve linear speedup with respect to the number of workers. At last, extensive experiments on different tasks have confirmed the effectiveness of our proposed two approaches.

연구 동기 및 목표

• 딥 팩터리제이션 머신과 같은 희박하고 분류형 데이터에서 최적화되지 않는 고정 학습률을 사용하는 기존 분산 SGD 방법의 한계를 해결한다.
• 수동 조정이 필요 없는 각 워커 노드별 적응형 학습률을 지원하는 분산 학습 프레임워크를 개발한다.
• 통신 건너뛰기와 모델 압축을 도입하여 분산 학습의 통신 오버헤드를 줄인다.
• 비볼록 설정 하에서 선형 속도 향상을 보장하는 적응형 분산 학습의 이론적 수렴 보장을 확립한다.
• 이질적인 데이터에서 대규모 분산 기계학습에 대한 실용적 확장성과 효율성을 확보한다.

제안 방법

• 로컬 기울기 통계를 기반으로 각 워커가 자체적으로 적응형 학습률을 동적으로 계산하는 Decentralized Adam을 제안하며, Adam 최적화기의 영감을 받는다.
• 워커들이 매 p 반복마다만 동기화하도록 하는 통신 건너뛰기 메커니즘을 도입하여 통신 빈도를 감소시킨다.
• 이웃 간 통신되는 파라미터에 대해 모델 압축을 적용하여 각 통신 라운드의 대역폭 사용량을 줄인다.
• 워커 간 일치를 보장하고 분산 환경에서 수렴을 유지하기 위해 이중 확률적 혼합 행렬 W를 사용한다.
• 부드러움, 유한 기울기 및 분산 제어를 활용한 이론적 분석을 통해 선형 속도 향상을 보장하는 수렴 한계를 도출한다.
• 실행 평균의 제곱 모멘텀에 기반한 좌표별 학습률 업데이트를 통해 적응형 학습률을 통합하며, 수치적 안정성을 확보하기 위해 작은 상수 τ를 사용한다.

실험 결과

연구 질문

• RQ1 적응형 학습률이 분산 학습에 성공적으로 통합될 수 있으며, 수렴 보장이 유지되는가?
• RQ2 분산 학습에서 통신 주기를 건너뛰는 것이 수렴성을 유지하고 워커 수에 비례한 선형 속도 향상을 달성하는가?
• RQ3 모델 압축이 적응형 분산 학습과 효과적으로 조합될 수 있으며, 수렴성이나 성능이 떨어지지 않는가?
• RQ4 제안된 방법이 표준 분산 SGD에 비해 실제 희박하고 분류형 데이터 작업에서 어떻게 성능을 발휘하는가?
• RQ5 비볼록 최적화 하에서 적응형 분산 학습의 이론적 수렴 속도는 무엇인가?

주요 결과

• 제안된 Decentralized Adam은 워커 수에 비례한 선형 속도 향상을 달성했으며, 이는 적응형 분산 학습 분야에서 최초의 성과이다.
• 건너뛰기와 압축을 통한 통신 효율성 있는 변형 역시 선형 속도 향상을 달성하여, 감소된 통신 환경에서도 확장성을 입증했다.
• 이론적 분석을 통해 기대 제곱 기울기 노름의 수렴 속도가 O(1/T)의 비선형 속도임을 확인했다.
• 다양한 작업에서의 실증 결과는 두 접근 방식의 효과성을 확인했으며, 특히 적응형 학습이 필수적인 희박하고 분류형 데이터에서 뚜렷한 성능 향상을 보였다.
• 딥 팩터리제이션 머신 작업에서 표준 분산 SGD에 비해 수렴 속도와 최종 모델 정확도 면에서 모두 뛰어난 성능을 발휘했다.