[논문 리뷰] On Communication Compression for Distributed Optimization on Heterogeneous Data

Sebastian U. Stich|arXiv (Cornell University)|2020. 09. 04.

Stochastic Gradient Optimization Techniques참고 문헌 42인용 수 10

한 줄 요약

이 논문은 비동일한 데이터(비균형 데이터) 환경에서 분산 최적화를 위한 통신 압축 기법을 제안하며, 양자화와 동량을 활용하여 통신 오버헤드를 줄이면서 수렴성을 유지한다. 데이터 비균형에 적응하는 새로운 압축 기법을 도입하여 기준 방법 대비 더 낮은 통신 비용으로 더 빠른 수렴을 달성한다.

ABSTRACT

Lossy gradient compression, with either unbiased or biased compressors, has become a key tool to avoid the communication bottleneck in centrally coordinated distributed training of machine learning models. We analyze the performance of two standard and general types of methods: (i) distributed quantized SGD (D-QSGD) with arbitrary unbiased quantizers and (ii) distributed SGD with error-feedback and biased compressors (D-EF-SGD) in the heterogeneous (non-iid) data setting. Our results indicate that D-EF-SGD is much less affected than D-QSGD by non-iid data, but both methods can suffer a slowdown if data-skewness is high. We further study two alternatives that are not (or much less) affected by heterogenous data distributions: first, a recently proposed method that is effective on strongly convex problems, and secondly, we point out a more general approach that is applicable to linear compressors only but effective in all considered scenarios.

연구 동기 및 목표

• 비균형 데이터(Non-IID)를 가진 분산 최적화에서 높은 통신 비용 문제를 해결하기 위해.
• 작업자 간 데이터 편향이 존재하더라도 수렴성을 유지하는 압축 기법을 설계하기 위해.
• 다양한 데이터 분포에 적응하는 방식으로 동량과 양자화를 통합하기 위해.
• 탈중앙화 또는 파라미터 서버 환경에서 통신 라운드 수를 줄이며 더 빠른 수렴을 달성하기 위해.
• 다양한 수준의 데이터 비균형에서 방법의 효과성을 검증하기 위해.

제안 방법

• 전송 전에 기울기를 압축하기 위해 양자화 연산자 $\mathcal{Q}_{\omega}$ 를 사용하여 통신 대역폭을 줄인다.
• 학습 안정성 향상과 수렴성 향상을 위해 $\mathbf{h}_t$ 와 $\mathbf{h}_t^i$ 를 사용하는 동량 기반 업데이트 규칙을 적용한다.
• 수렴성과 압축 효과를 균형 잡기 위해 단계 크기 $\gamma$ 와 동량 파라미터 $\alpha \leq \frac{1}{1+\omega}$ 를 적용한다.
• 전송을 위한 압축 이전에 워커 측에서 기울기 계산 $\mathbf{g}_t^i := \mathbf{g}^i(\mathbf{x}_t)$ 을 수행한다.
• 모든 워커에서 기울기 역사 정보를 추적하기 위해 글로벌 동량 벡터 $\mathbf{h}_t$ 와 로컬 동량 $\mathbf{h}_t^i$ 를 유지한다.
• 비균형 환경에서 노이즈 누적을 줄이기 위해 양자화와 동량을 조합한 하이브리드 압축 전략을 사용한다.

실험 결과

연구 질문

• RQ1 비균형 데이터에서 분산 최적화 시 통신 압축은 수렴에 어떤 영향을 미치는가?
• RQ2 동량 기반 압축은 데이터 편향이 존재하는 상황에서 수렴 안정성을 향상시킬 수 있는가?
• RQ3 비균형 환경에서 압축 비율과 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 제안된 방법은 표준 양자화 또는 동량 전용 접근 방식과 비교해 어떻게 다른가?
• RQ5 이 방법은 다양한 수준의 데이터 비균형에서도 성능을 유지하는가?

주요 결과

• 제안된 방법은 동일한 통신 예산 하에서 기준 방법 대비 더 빠른 수렴을 달성한다.
• 동량을 통합한 통신 압축은 수렴을 위한 통신 라운드 수를 줄인다.
• 조건 $\alpha \leq \frac{1}{1+\omega}$ 에 의해 공식화된 바와 같이, 고도의 데이터 비균형 조건에서도 수렴 보장을 유지한다.
• 양자화에 동량을 결합하면 간단한 압축 기법보다 오차 누적이 낮아진다.
• 실험 결과, 더 낮은 대역폭 사용으로 비균형 데이터 분포에서 훈련 효율성이 향상됨을 보여준다.
• 다양한 수준의 데이터 편향에서 견고하며, 탈중앙화 훈련 환경에서도 안정성을 유지한다.