[논문 리뷰] The ZipML Framework for Training Models with End-to-End Low Precision: The Cans, the Cannots, and a Little Bit of Deep Learning

Hantian Zhang, Li, Jerry외 4명|arXiv (Cornell University)|2016. 11. 16.

Machine Learning and Data Classification참고 문헌 28인용 수 15

한 줄 요약

ZipML는 이중 샘플링을 통해 그래디언트 추정 편향을 제거함으로써 끝에서 끝까지 저해상도 훈련을 가능하게 하는 프레임워크를 제안한다. 이로 인해 최소한의 정밀도 손실로 보장 가능한 수렴을 이룰 수 있으며, FPGA에서 최대 6.5배의 속도 향상을 달성하고, 데이터 이동을 2.7배 줄일 수 있다. 선형 및 비선형 모델에서 8비트 정밀도로도 수렴이 가능하다.

ABSTRACT

Recently there has been significant interest in training machine-learning models at low precision: by reducing precision, one can reduce computation and communication by one order of magnitude. We examine training at reduced precision, both from a theoretical and practical perspective, and ask: is it possible to train models at end-to-end low precision with provable guarantees? Can this lead to consistent order-of-magnitude speedups? We present a framework called ZipML to answer these questions. For linear models, the answer is yes. We develop a simple framework based on one simple but novel strategy called double sampling. Our framework is able to execute training at low precision with no bias, guaranteeing convergence, whereas naive quantization would introduce significant bias. We validate our framework across a range of applications, and show that it enables an FPGA prototype that is up to 6.5x faster than an implementation using full 32-bit precision. We further develop a variance-optimal stochastic quantization strategy and show that it can make a significant difference in a variety of settings. When applied to linear models together with double sampling, we save up to another 1.7x in data movement compared with uniform quantization. When training deep networks with quantized models, we achieve higher accuracy than the state-of-the-art XNOR-Net. Finally, we extend our framework through approximation to non-linear models, such as SVM. We show that, although using low-precision data induces bias, we can appropriately bound and control the bias. We find in practice 8-bit precision is often sufficient to converge to the correct solution. Interestingly, however, in practice we notice that our framework does not always outperform the naive rounding approach. We discuss this negative result in detail.

연구 동기 및 목표

• 저해상도로 기계 학습 모델을 훈련시키는 과제를 해결하면서도 수렴 보장을 유지한다.
• 스토케스틱 최적화 중 데이터, 그래디언트, 모델 파라미터의 단순 양자화가 유도하는 편향을 극복한다.
• 입력 샘플, 그래디언트, 모델 가중치의 끝에서 끝까지의 양자화를 가능하게 하는 프레임워크를 개발한다.
• 근사 오차를 제어하기 위한 재읽기 히우리스틱을 사용해, SVM과 같은 비선형 모델으로 프레임워크를 확장한다.
• 실제 응용 분야에서 실현 가능한 속도 향상과 데이터 이동 감소를 입증한다. 이는 FPGA 프로토타입과 단층촬영 재구성에 적용된다.

제안 방법

• 양자화 하중에서 상관관계에 기인한 편향을 제거하기 위해 이중 샘플링을 새로운 전략으로 도입한다.
• 분산 분석을 적용하여, 샘플당 Θ(log n / σ) 비트를 사용할 경우, 끝에서 끝까지의 양자화가 총 분산에 상수 요인만 추가함을 보여준다.
• 양자화 간격 내 오차를 최소화하는 변동수 optimal 스토케스틱 양자화 전략(AdaQuant)을 설계한다.
• 정규화된 최적화에서 수렴을 유지하기 위해, 양자화된 그래디언트와 모델 가중치와 함께 프록실 제너럴 업데이트를 통합한다.
• 하드웨어 성능 평가를 위해 FPGA에 프레임워크를 구현하였으며, 32비트, 16비트, 8비트, 4비트, 2비트 정밀도 버전을 사용한다.
• 비선형 모델에서 오차가 발생하는 경우 원본 데이터를 재읽는 재읽기 히우리스틱을 적용하여 편향을 줄인다.

실험 결과

연구 질문

• RQ1 선형 모델의 끝에서 끝까지 저해상도 훈련이 보장 가능한 수렴 보장을 갖는다면 가능할 수 있는가?
• RQ2 저해상도 훈련에서 편향 없는 그래디언트 추정을 유지하기 위해 필요한 최소 비트 수는 얼마인가?
• RQ3 데이터 이동 감소와 수렴 향상 측면에서 변동수 optimal 양자화는 균일 양자화보다 어떻게 비교되는가?
• RQ4 SVM과 같은 비선형 모델로 프레임워크를 확장할 수 있으며, 근사 오차를 제어할 수 있는가?
• RQ5 FPGA에서 저해상도 훈련은 전체 정밀도 구현 대비 상당한 속도 향상을 제공하는가?

주요 결과

• 이중 샘플링은 저해상도 훈련에서 편향 없는 그래디언트 추정을 가능하게 하여, 전체 정밀도 SGD와 동일한 해에 수렴할 수 있다.
• 선형 모델의 경우, 5~6비트의 정밀도로도 전체 32비트 정밀도와 유사한 수렴 속도와 최종 훈련 손실을 달성할 수 있다.
• ZipML를 사용한 FPGA 프로토타입은 32비트 정밀도 구현 대비 최대 6.5배의 속도 향상을 달성했으며, 10코어 CPU에서 실행되는 Hogwild!보다도 빠르다.
• 단층촬영 재구성에서 프레임워크는 데이터 이동을 최대 2.7배 줄였고, 품질 저하 없이도 가능했다.
• 선형 모델에서 변동수 optimal 양자화(AdaQuant)는 균일 양자화 대비 데이터 이동을 1.7배 줄였다.
• SVM의 경우, 재읽기 기반 8비트 양자화는 전체 데이터의 약 6%만 재읽기로, 전체 정밀도와 유사한 테스트 정확도와 수렴 속도를 달성했다.