[논문 리뷰] Communication Efficient Sparsification for Large Scale Machine Learning

Sarit Khirirat, Sindri Magnússon외 2명|arXiv (Cornell University)|2020. 03. 13.

Stochastic Gradient Optimization Techniques인용 수 6

한 줄 요약

이 논문은 분산 기계 학습에서 전송된 비트 수당 통신 효율을 극대화하기 위해 압축 파rameter를 자동으로 조정하는 동적 튜닝 규칙을 소개한다. 각 반복에서 기울기 압축과 목적 함수 향상 사이의 트레이드오프를 최적화함으로써, 수동 하이퍼파ram터 튜닝 없이도 최신 압축 기법들 전반에 걸쳐 효율성을 크게 향상시킨다.

ABSTRACT

The increasing scale of distributed learning problems necessitates the development of compression techniques for reducing the information exchange between compute nodes. The level of accuracy in existing compression techniques is typically chosen before training, meaning that they are unlikely to adapt well to the problems that they are solving without extensive hyper-parameter tuning. In this paper, we propose dynamic tuning rules that adapt to the communicated gradients at each iteration. In particular, our rules optimize the communication efficiency at each iteration by maximizing the improvement in the objective function that is achieved per communicated bit. Our theoretical results and experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

연구 동기 및 목표

• 대규모 분산 학습 시스템에서 고정 압축 전략의 비효율성을 해결한다.
• 기존 압축 기법에서 광범위한 하이퍼파ram터 튜닝이 필요 없는 문제를 해결한다.
• 실시간 기울기 특성에 기반해 압축을 동적으로 조정하는 적응 메커니즘을 개발한다.
• 전송된 비트 수당 목적 함수 향상 최적화를 통해 통신 효율을 극대화한다.
• 학습 동적 변화에 맞게 반복 수준에서 압축 파rameter를 자동으로 튜닝할 수 있도록 한다.

제안 방법

• 각 학습 반복에서 현재 기울기의 구조와 크기에 기반해 압축 파rameter를 조정하는 동적 튜닝 규칙을 제안한다.
• 전송된 비트 수당 손실 함수 향상 최대화를 목표로 하는 최적화 목적 함수를 수립한다.
• 기존의 희소화 기법들(예: top-k 및 랜덤 샘플링)과 동적 튜닝 메커니즘을 통합한다.
• 기울기 통계(예: 크기 분포)를 활용해 실시간으로 희소성 수준과 선택 기준을 결정한다.
• 학습 중에 반복적으로 튜닝 규칙을 적용하여 노드 간 전송되는 비트 수를 적응적으로 제어한다.
• 표준 압축 기법과의 후행 호환성을 확보하면서도 그들의 통신 효율을 향상시킨다.

실험 결과

연구 질문

• RQ1 수동 하이퍼파aram터 튜닝 없이도 동적 압축 튜닝이 분산 기계 학습의 통신 효율을 향상시킬 수 있는가?
• RQ2 고정 압축 전략과 비교할 때 제안된 방법은 통신 비용과 수렴 속도 측면에서 어떻게 다를까?
• RQ3 동적 튜닝은 다양한 학습 반복 동안 변화하는 기울기 특성에 얼마나 잘 적응할 수 있는가?
• RQ4 비트 당 성능 향상 최적화가 다양한 딥 러닝 모델과 데이터셋에서 일관된 성과를 내는가?

주요 결과

• 동적 튜닝 규칙은 여러 최신 압축 기법 전반에 걸쳐 통신 효율을 크게 향상시킨다.
• 주어진 수준의 모델 정확도를 달성하기 위해 필요한 비트 수를 줄여 고정 압축 전략을 능가한다.
• 더 효과적인 기울기 전송 덕분에 통신 라운드 수 측면에서 더 빠른 수렴을 이룬다.
• 정적 압축 설정 대비 전송된 비트 수당 목적 함수 향상 수준이 더 높다.
• 모델과 데이터셋에 관계없이 강건하며, 재튜닝 없이도 일관된 성능 향상을 보인다.
• 이론적 분석을 통해 동적 전략이 압축과 최적화 진행 사이의 트레이드오프를 최적화함을 확인한다.