[논문 리뷰] GradiVeQ: Vector Quantization for Bandwidth-Efficient Gradient Aggregation in Distributed CNN Training

Mingchao Yu, Zhifeng Lin외 7명|arXiv (Cornell University)|2018. 11. 08.

Advanced Neural Network Applications참고 문헌 32인용 수 10

한 줄 요약

GradiVeQ는 주로 PCA를 통해 CNN 기울기의 선형 상관관계를 활용하여 순환형 전역 평균(All-Reduce, RAR)과 함께 교환 가능한 압축을 가능하게 하는 벡터 양자화 기법이다. 이는 압축과 통신의 병렬 처리를 가능하게 하여 기울기 집합 시간을 5배 이상 단축시키고, 전체 학습 시간을 거의 50% 감소시키며, 정확도 손실이 거의 없는 성능을 보인다. 이는 QSGD와 같은 스칼라 양자화 기법보다 뛰어난 성능을 발휘한다.

ABSTRACT

Data parallelism can boost the training speed of convolutional neural networks (CNN), but could suffer from significant communication costs caused by gradient aggregation. To alleviate this problem, several scalar quantization techniques have been developed to compress the gradients. But these techniques could perform poorly when used together with decentralized aggregation protocols like ring all-reduce (RAR), mainly due to their inability to directly aggregate compressed gradients. In this paper, we empirically demonstrate the strong linear correlations between CNN gradients, and propose a gradient vector quantization technique, named GradiVeQ, to exploit these correlations through principal component analysis (PCA) for substantial gradient dimension reduction. GradiVeQ enables direct aggregation of compressed gradients, hence allows us to build a distributed learning system that parallelizes GradiVeQ gradient compression and RAR communications. Extensive experiments on popular CNNs demonstrate that applying GradiVeQ slashes the wall-clock gradient aggregation time of the original RAR by more than 5X without noticeable accuracy loss, and reduces the end-to-end training time by almost 50%. The results also show that GradiVeQ is compatible with scalar quantization techniques such as QSGD (Quantized SGD), and achieves a much higher speed-up gain under the same compression ratio.

연구 동기 및 목표

• 자주 발생하는 기울기 집합으로 인한 분산 CNN 학습의 통신 병목 현상을 해결하기 위해.
• 스칼라 양자화가 라운드 로비드 전역 평균(RAR)과 같은 탈중앙화된 집합 프로토콜과 호환되지 않아 압축과 통신의 병렬 처리가 어려운 문제를 해결하기 위해.
• 집합과 교환 가능한 압축을 가능하게 하여 압축된 기울기를 직접 합칠 수 있도록 하는 기울기 압축 방법을 개발하기 위해.
• 기울기 집합 및 전체 학습 시간을 크게 단축시키면서도 모델 정확도를 유지하기 위해.
• 기존의 스칼라 양자화 기법(예: QSGD)과의 호환성을 확보하여 하이브리드 압축 전략을 구현할 수 있도록 하기 위해.

제안 방법

• GradiVeQ는 강력한 선형 상관관계를 가지는 CNN 기울기에 주성분 분석(PCA)을 적용하여 기울기 차원을 감소시킨다.
• 낮은 차원의 PCA 성분을 벡터 양자화를 통해 압축하여 RAR와의 교환 가능한 압축을 가능하게 한다.
• 압축 함수는 교환 조건을 만족하도록 설계되어 있다: ∑Q(gₙ) = Q(∑gₙ), 이는 압축된 기울기를 직접 합칠 수 있도록 한다.
• 지역 기울기를 압축하면서도 원격 세그먼트를 다운로드하는 방식으로 압축과 RAR 통신을 병렬화한다.
• 스칼라 양자화와의 하이브리드 사용을 지원한다: GradiVeQ는 대역폭을 줄이기 위해 선택적으로 적용되며, 비-GradiVeQ 반복에서는 스칼라 양자화(예: 4비트 QSGD)를 사용하여 호환성을 유지한다.
• GradiVeQ 압축과 RAR를 통합한 분산 학습 프레임워크를 구현하여 종단 간 학습을 지원한다.

실험 결과

연구 질문

• RQ1 CNN 기울기 내 강력한 선형 상관관계를 활용하여 라운드 로비드 전역 평균(RAR)과 같은 탈중앙화된 집합 프로토콜과 함께 교환 가능한 기울기 압축을 가능하게 할 수 있는가?
• RQ2 PCA 기반의 벡터 양자화가 직접적인 기울기 압축 합산을 가능하게 하여 압축과 통신의 병렬 처리를 가능하게 하는가?
• RQ3 GradiVeQ는 QSGD와 같은 스칼라 양자화 기법과 비교하여 기울기 집합 및 전체 학습 시간 단축 측면에서 어떻게 성능을 내는가?
• RQ4 GradiVeQ는 스칼라 양자화와 효과적으로 조합되어 통신 비용을 추가로 줄일 수 있는가, 동시에 모델 수렴 성능이 떨어지지 않는가?
• RQ5 GradiVeQ는 CPU 및 GPU 환경을 포함한 다양한 하드웨어 환경에서 모델 정확도와 학습 효율성에 어떤 영향을 미치는가?

주요 결과

• GradiVeQ는 RAR의 벽시계 기울기 집합 시간을 5배 이상 단축시켜 CPU 환경에서 5.25배, GPU 환경에서 4배의 성능 향상을 달성한다.
• 전체 학습 시간은 GradiVeQ 적용으로 거의 50% 감소한다: CPU에서는 135,000초(압축 없음)에서 76,000초로, GPU에서는 75,000초에서 24,000초로 감소한다.
• 모든 시스템에서 45,000회 반복 후 수렴을 확인하여 GradiVeQ가 필요한 반복 수를 증가시키지 않는다는 점을 입증한다.
• 테스트 정확도는 좁은 범위 내 유지: 압축 없음(0.676), 4비트 QSGD(0.667), GradiVeQ(0.666)로, 정확도 손실이 최소한이다.
• 동일한 압축 비율에서도 GradiVeQ는 4비트 QSGD보다 뛰어난 성능을 보이며, 이는 압축과 통신의 병렬 처리 기능 덕분이다.
• GPU 환경에서는 통신이 학습 시간의 88%를 차지하는 주요 병목 요소이므로, GradiVeQ는 압축 없음 RAR 대비 4배, 4비트 QSGD 대비 1.4배의 전체 학습 시간 단축을 달성한다.