[논문 리뷰] ZipML: An End-to-end Bitwise Framework for Dense Generalized Linear Models.

Hantian Zhang, Kaan Kara외 4명|arXiv (Cornell University)|2016. 11. 16.

Advanced Neural Network Applications인용 수 10

한 줄 요약

ZipML는 데이터, 모델, 기울기 모두에 대해 최소 2비트로 표현하는 엔드투엔드 비트 단위 프레임워크를 도입하여 조밀한 일반선형 모델을 훈련시킨다. 이는 입력, 기울기, 모델을 16배 압축하면서 수렴성과 정확도를 유지하며, 특정 양자화 전략 하에 8비트 또는 6비트 정밀도에서도 견고한 훈련을 가능하게 한다.

ABSTRACT

We present ZipML, the first framework for training dense generalized linear models using end-to-end low-precision representation--in ZipML, all movements of data, including those for input samples, model, and gradients, are represented using as little as two bits per component. Within our framework, we have successfully compressed, separately, the input data by 16x, gradient by 16x, and model by 16x while still getting the same training result. Even for the most challenging datasets, we find that robust convergence can be ensured using only an end-to-end 8-bit representation or a 6-bit representation if only samples are quantized. Our work builds on previous research on using low-precision representations for gradient and model in the context of stochastic gradient descent. Our main technical contribution is a new set of techniques which allow the training samples to be processed with low precision, without affecting the convergence of the algorithm. In turn, this leads to a system where all data items move in a quantized, low precision format. In particular, we first establish that randomized rounding, while sufficient when quantizing the model and the gradients, is biased when quantizing samples, and thus leads to a different training result. We propose two new data representations which converge to the same solution as in the original data representation both in theory and empirically and require as little as 2-bits per component. As a result, if the original data is stored as 32-bit floats, we decrease the bandwidth footprint for each training iteration by up to 16x. Our results hold for models such as linear regression and least squares SVM. ZipML raises interesting theoretical questions related to the robustness of SGD to approximate data, model, and gradient representations. We conclude this working paper by a description of ongoing work extending these preliminary results.

연구 동기 및 목표

• 일반선형 모델의 분산 훈련에서 통신 및 메모리 대역폭을 줄이기 위해 낮은 정밀도의 데이터 표현 방식을 도입함으로써 도전 과제를 해결한다.
• 이전에 수렴성을 해칠 수 있었던 랜덤화된 반올림을 사용할 때 입력 샘플을 양자화할 경우 발생하는 편향을 극복한다.
• 입력, 기울기, 모델 파라미터 등 모든 데이터가 정밀도가 낮은 형식으로 처리되고 통신되지만, 훈련 정확도를 손상시키지 않는 시스템을 설계한다.
• 입력 데이터의 저정밀도 표현이 여전히 전체 정밀도 훈련과 동일한 해에 수렴할 수 있는 이론적 및 실증적 조건을 설정한다.

제안 방법

• 랜덤화된 반올림을 사용할 때 발생하는 편향을 보정함으로써 수렴성을 유지하는 두 가지 새로운 데이터 표현 방식을 도입한다.
• 비트 단위의 양자화를 사용하여 입력, 기울기, 모델 파라미터를 구성 요소당 최소 2비트로 표현함으로써 대역폭과 메모리 사용을 극적으로 줄인다.
• 입력 샘플의 양자화가 확률적 기울기의 기대값을 변경하지 않도록 보장하여 SGD의 수렴 성질을 유지한다.
• 각각 별도의 양자화 전략을 적용한다: 엔드투엔드 2비트 훈련에서는 모든 구성 요소에 대해 2비트 표현을 사용하거나, 입력에 대해서만 6비트, 기울기와 모델에 대해서는 8비트를 사용한다.
• 이론적 및 실증적으로 제안된 표현 방식이 전체 정밀도 훈련과 동일한 해에 수렴함을 검증한다.
• 모델과 기울기의 양자화는 랜덤화된 반올림을 견딜 수 있지만, 입력의 양자화는 정확도를 유지하기 위해 편향 보정이 필요한 접근이 필요하다는 사실을 활용한다.

실험 결과

연구 질문

• RQ1 조밀한 일반선형 모델의 훈련이 구성 요소당 최소 2비트의 저정밀도 표현을 사용해도 수렴성이나 정확도가 떨어지지 않게 수행될 수 있는가?
• RQ2 왜 랜덤화된 반올림이 입력 샘플에 적용될 경우 실패하는가? 그리고 이러한 편향은 어떻게 보정하여 수렴성을 유지할 수 있는가?
• RQ3 입력, 기울기, 모델 표현에 대해 수렴성이 견고하게 유지되기 위해 필요한 최소 정밀도는 무엇인가?
• RQ4 모든 데이터 이동이 양자화된 상황에서도 프레임워크가 전체 정밀도 훈련과 동일한 해를 유지할 수 있는가?

주요 결과

• ZipML는 입력 데이터, 기울기, 모델 파라미터를 모두 16배 압축하면서 전체 정밀도 훈련과 동일한 훈련 결과를 유지한다.
• 엔드투엔드 8비트 표현만으로도 수렴성이 견고하게 확보되며, 입력만 양자화할 경우 6비트 표현으로도 충분하다.
• 랜덤화된 반올림은 입력 샘플에 적용될 경우 편향을 유발하여 수렴하지 못하는 결과를 초래하지만, ZipML는 새로운 데이터 표현 방식을 통해 이를 보정한다.
• 제안된 프레임워크는 구성 요소당 최소 2비트로도 엔드투엔드 훈련을 완전히 수행할 수 있으며, 32비트 부동소수점 대비 반복당 대역폭을 최대 16배까지 줄일 수 있다.
• 이론적 및 실증적 검증을 통해 새로운 표현 방식이 원래 전체 정밀도 훈련 과정과 동일한 해에 수렴함을 확인한다.
• 이 프레임워크는 선형 회귀 및 최소 제곱 SVM을 포함한 모델에 효과적이며, 일반선형 모델 가족 내에서 넓은 적용 가능성을 보여준다.