[논문 리뷰] A flexible framework for communication-efficient machine learning: from HPC to IoT

Sarit Khirirat, Sindri Magnússon외 2명|arXiv (Cornell University)|2020. 03. 13.

IoT and Edge/Fog Computing참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기계학습에서 통신 비용을 최소화하면서 목적 함수 개선을 극대화하기 위해 동적으로 그래디언트 압축 수준을 조정하는 Communication-aware Adaptive Tuning (CAT) 프레임워크를 제안한다. 플랫폼에 특화된 통신 비용을 모델링하고 반복마다 압축을 최적화함으로써, CAT는 전체 그래디언트 하강법 대비 최대 5개의 지수 차수 감소를 이룩하며, HPC 및 IoT 시스템 전반에서 정적 튜닝 방법을 능가한다.

ABSTRACT

With the increasing scale of machine learning tasks, it has become essential to reduce the communication between computing nodes. Early work on gradient compression focused on the bottleneck between CPUs and GPUs, but communication-efficiency is now needed in a variety of different system architectures, from high-performance clusters to energy-constrained IoT devices. In the current practice, compression levels are typically chosen before training and settings that work well for one task may be vastly suboptimal for another dataset on another architecture. In this paper, we propose a flexible framework which adapts the compression level to the true gradient at each iteration, maximizing the improvement in the objective function that is achieved per communicated bit. Our framework is easy to adapt from one technology to the next by modeling how the communication cost depends on the compression level for the specific technology. Theoretical results and practical experiments indicate that the automatic tuning strategies significantly increase communication efficiency on several state-of-the-art compression schemes.

연구 동기 및 목표

• 고성능 클러스터부터 에너지 제약이 있는 IoT 기기에 이르기까지 다양한 아키텍처에서 분산 기계학습의 통신 병목 현상을 해결하기 위해.
• 다양한 데이터셋과 시스템 구성에서 최적화되지 않는 정적 압축 튜닝의 한계를 극복하기 위해.
• 기울기 정보와 통신 비용 모델에 기반해 실시간으로 압축 수준을 조정할 수 있는 유연하고 기술 인식형 프레임워크를 개발하기 위해.
• 각 반복에서 통신 비용 대비 목적 함수 개선 비율을 극대화하여 통신 효율성을 향상시키기 위해.

제안 방법

• CAT 프레임워크는 다양한 하드웨어 플랫폼에 대해 분석 모델 또는 실험 측정을 사용하여 압축 수준에 따른 통신 비용을 함수로 모델링한다.
• 목적 함수의 보장된 감소량 대비 통신 비용 비율을 극대화하는 최적화 문제를 수립한다.
• 스parsification, 스파르스피케이션+양자화, 스토하스틱 스파르스피케이션 등의 각 압축 방식에 대해 문제 특화된 내림함수 보조정리를 유도하여 기능 개선과 튜닝 파라미터 T 간의 관계를 설정한다.
• 다중 노드 환경에서 프레임워크를 적용하였으며, 스토하스틱 스파르스피케이션 방식 하에서의 스토하스틱 그래디언트 하강법에 대해 수렴 분석을 제공한다.
• 스파르스피케이션 오버헤드를 줄이기 위해 매 반복이 아닌 매 S 반복마다 스파르스티 비용 예산을 업데이트하는 하이브리드 히우리스틱을 도입한다.
• ZMQ 기반 TCP 전송을 사용하여 통신 비용 모델을 실험적으로 검증하였으며, 약선형 행동을 보여 통신 비용 모델링에 적합함을 입증하였다.

실험 결과

연구 질문

• RQ1 데이터 의존적 정보 내용과 플랫폼에 특화된 통신 비용을 동시에 고려해 그래디언트 압축을 어떻게 동적으로 적응시킬 수 있는가?
• RQ2 다양한 시스템 아키텍처에서 통신 비용 당 목적 함수 개선을 극대화하는 최적의 압축 수준 T는 무엇인가?
• RQ3 통합된 프레임워크는 HPC에서 IoT에 이르기까지 다양한 시스템에서 정적 또는 히우리스틱 튜닝보다 뛰어난 통신 효율성을 달성할 수 있는가?
• RQ4 패킷 기반 모델과 페이로드 전용 모델을 포함한 다양한 통신 모델 하에서 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• RCV1 데이터셋에서 CAT는 전체 그래디언트 하강법 대비 통신 비용을 최대 5개 지수 차수 감소시키며, 정적 튜닝 방법을 크게 능가한다.
• 패킷 통신 모델 하에서 CAT는 Alistarh 등(2017)의 동적 튜닝 규칙보다 약 2배 높은 통신 효율성을 확보하였으며, 이는 실제 통신 비용을 고려하지 않는다는 점에서 유의미하다.
• S=200일 때 하이브리드 히우리스틱은 스파르스피케이션 시간을 한 단계 감소시켰고, 수렴 성능 및 통신 비용 성능은 거의 동일하게 유지되었다.
• 실험 결과 약선형 모델이 다양한 스파르스티 비용 예산에서 종단 간 전송 시간을 정확히 캡처함을 확인하여 통신 비용 모델링 접근법의 타당성을 입증하였다.
• 스토하스틱 스파르스피케이션의 경우, 페이로드 모델이 작은 T를 제안하더라도 CAT는 최적의 T를 적응적으로 선택함으로써 모델 가정에 대한 강건성을 입증하였다.
• 스파르스피케이션 시간이 더 높더라도 CAT S+Q는 통신 오버헤드가 극적으로 감소하여 월클록 수렴 속도가 더 빠르게 나타났다.