[논문 리뷰] Consensus Control for Decentralized Deep Learning

Lingjing Kong, Tao Lin외 3명|arXiv (Cornell University)|2021. 02. 09.

Privacy-Preserving Technologies in Data참고 문헌 63인용 수 8

한 줄 요약

이 논문은 분산 학습에서 일반화 성능에 영향을 미치는 핵심 요인으로 일관성 거리—모델 파라미터가 각 장치 간 평균과 다를 때의 평균 차이—를 규명한다. 학습 중 일관성 거리를 적절히 제어함으로써 저자들은 통합 학습과 비슷한 성능을 달성하였으며, 린(고리형)과 같은 희박한 통신 구조에서도 그러한 성능을 유지하였다. 이는 효율성과 모델 품질을 균형 잡는 원칙적인 통신 제어를 통해 달성되었다.

ABSTRACT

Decentralized training of deep learning models enables on-device learning over networks, as well as efficient scaling to large compute clusters. Experiments in earlier works reveal that, even in a data-center setup, decentralized training often suffers from the degradation in the quality of the model: the training and test performance of models trained in a decentralized fashion is in general worse than that of models trained in a centralized fashion, and this performance drop is impacted by parameters such as network size, communication topology and data partitioning. We identify the changing consensus distance between devices as a key parameter to explain the gap between centralized and decentralized training. We show in theory that when the training consensus distance is lower than a critical quantity, decentralized training converges as fast as the centralized counterpart. We empirically validate that the relation between generalization performance and consensus distance is consistent with this theoretical observation. Our empirical insights allow the principled design of better decentralized training schemes that mitigate the performance drop. To this end, we provide practical training guidelines and exemplify its effectiveness on the data-center setup as the important first step.

연구 동기 및 목표

• 통합 학습과 유사한 최적화 수렴 속도를 보일 수 있음에도 불구하고 분산 학습이 종종 통합 학습보다 성능이 열 劣하는 이유를 이해하기 위해.
• 특히 i.i.d. 데이터를 가진 데이터센터 환경에서 분산 학습의 일반화 갭의 근본 원인을 규명하기 위해.
• 학습 중 일관성 거리를 원칙적으로 제어하는 방법을 개발하여 통신 효율성을 희생시키지 않고 일반화 성능을 향상시키기 위해.
• 다양한 아키텍처와 통신 구조에서 모델 성능에 영향을 미치는 일관성 거리가 중요한 조절 가능한 매개변수임을 검증하기 위해.

제안 방법

• 모델 파라미터가 각 장치에서 전역 평균으로부터 얼마나 떨어져 있는지를 측정하는 일관성 거리라는 지표를 도입한다.
• 일관성 거리를 최적 수준으로 유지하기 위해 동적으로 통신 빈도나 로컬 업데이트 단계를 조절하는 적응형 일관성 제어를 제안한다.
• 가소성 평균화를 사용해 분산된 파라미터를 집계하며, 통신 라운드당 로컬 업데이트 횟수를 조절하여 일관성 거리를 조절한다.
• 통신 구조의 스펙트럼 갭 분석(예: 고리형, 지수 그래프 등)을 통해 네트워크 구조가 일관성 수렴 속도에 미치는 영향을 분석한다.
• 여러 벤치마크에 적용: CIFAR-10에서의 ResNet-20, ImageNet-32, Multi30k에서의 다운샘플된 트랜스포머.
• 성능 다이내믹스에 대한 경험적 통찰을 바탕으로, 초기 단계와 후기 단계에서 일관성 거리를 다르게 제어하는 단계별 학습 제어 전략을 도입한다.

실험 결과

연구 질문

• RQ1 데이터센터 환경에서 통합 학습과 분산 학습 간의 일반화 갭이 발생하는 원인은 무엇인가?
• RQ2 일관성 거리—각 장치 간 모델 파라미터의 평균 이격도—는 학습 및 테스트 성능에 어떻게 영향을 미치는가?
• RQ3 일반화 성능을 최대화하는 최적의 일관성 거리가 존재하는가? 그리고 이는 학습 단계에 따라 달라지는가?
• RQ4 적응형 일관성 제어를 통해 통신 효율성을 유지하면서도 분산 학습에서 통합 학습 수준의 성능를 달성할 수 있는가?
• RQ5 다양한 통신 구조(예: 고리형, 지수 그래프)와 학습 알고리즘(예: Adam)이 분산 학습에서 일관성 거리와 어떻게 상호작용하는가?

주요 결과

• 일관성 거리가 임계 임계값 이하로 유지될 경우, 분산 학습은 통합 학습과 동일한 속도로 수렴함을 확인하여 이론적 수렴 동등성을 입증한다.
• 64명의 워커가 고리형 구조에서 CIFAR-10에서 ResNet-20을 학습할 경우, 분산 학습은 89.58%의 테스트 정확도를 기록했고, All-Reduce 방식은 92.71%를 기록하여 뚜렷한 일반화 갭을 보였다.
• 최적의 일관성 거리(예: 로컬 업데이트 단계를 통한 제어)를 갖춘 적응형 일관성 제어는 테스트 정확도를 향상시킨다: 시간에 따라 변하는 지수 그래프에서 0.25×φ^ema_t 설정 시 성능이 93.13%로 정점에 도달하여 기준선 92.64%를 초월하였다.
• 초기 학습 단계가 핵심이다: 초기에 낮은 일관성 거리를 유지하면 최종 일반화 성능이 크게 향상되며, 후기 단계에서 높은 일관성 거리는 유리할 수 있다.
• Multi30k에서의 트랜스포머 모델에 대해 분산 Adam은 국소 모멘텀 버퍼의 발산으로 인해 일반화가 되지 않으며, 학습률 조정으로도 이를 해결할 수 없다. 이는 일관성 제어의 필요성을 강조한다.
• 경험적 결과는 수익 감소 효과를 확인한다: 임계값 이하로 일관성 거리를 더 줄여도 성능 향상이 없음을 보여주며, 최적의 일관성 거리 존재를 검증한다.