[논문 리뷰] Low precision storage for deep learning

Matthieu Courbariaux, Yoshua Bengio외 1명|arXiv (Cornell University)|2014. 12. 22.

Advanced Neural Network Applications참고 문헌 23인용 수 134

한 줄 요약

이 논문은 MNIST, CIFAR10, SVHN에서 Maxout 신경망을 훈련하고 배포하는 데 있어 저해상도 저장 포맷—부동소수점, 고정소수점, 동적 고정소수점—을 조사한다. 10비트 정밀도로 활성화 및 기울기 저장이 가능하며, 파라미터는 12비트로도 충분함을 입증하며, 최신 기술 수준의 성능을 유지하면서 효율적인 모델 저장 및 추론이 가능하며 정확도 손실이 미미하다.

ABSTRACT

We train a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct storing formats: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those formats, we assess the impact of the precision of the storage on the final error of the training. We find that very low precision storage is sufficient not just for running trained networks but also for training them. For example, Maxout networks state-of-the-art results are nearly maintained with 10 bits for storing activations and gradients, and 12 bits for storing parameters.

연구 동기 및 목표

• 저해상도 저장 포맷이 딥러닝 모델 훈련 및 추론에 미치는 영향을 평가하는 것.
• 정확도가著히 떨어지지 않는 범위에서 활성화, 기울기, 파라미터를 저장하기 위한 최소 정밀도를 규명하는 것.
• 모델 성능 측면에서 표준 부동소수점 표현 방식과 비교해 고정소수점 및 동적 고정소수점 포맷을 평가하는 것.
• 기본 벤치마크 데이터셋에서 최신 기술 수준의 결과를 유지할 수 있는 정밀도 임계값을 규명하는 것.

제안 방법

• MNIST, CIFAR10, SVHN에서 Maxout 네트워크를 훈련시키며 부동소수점, 고정소수점, 동적 고정소수점의 세 가지 저장 포맷을 사용한다.
• 여러 실험을 통해 활성화, 기울기, 파라미터의 저장 정밀도를 비트 정밀도 단위로 체계적으로 변화시킨다.
• 확률적 경사하강법을 사용한 표준 훈련 절차를 적용하며, 가중치, 활성화, 기울기의 저장을 지정된 정밀도 포맷으로 제한한다.
• 훈련 후 최종 테스트 오차를 측정하여 정밀도가 모델 성능에 미치는 영향을 평가한다.
• 활동 범위에 따라 이진점 위치를 동적으로 조정함으로써 정밀도 효율성을 향상시키기 위해 동적 고정소수점 사용

실험 결과

연구 질문

• RQ1 훈련 중 정확도가 떨어지지 않는 범위에서 활성화 및 기울기를 저장하기 위한 최소 정밀도는 얼마인가?
• RQ2 고정소수점 저장 방식이 기준 부동소수점 방식과 비교해 기준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 유지하는 데 얼마나 효과적인가?
• RQ3 표준 고정소수점 포맷에 비해 동적 고정소수점 표현 방식이 정밀도 효율성을 향상시킬 수 있는가?
• RQ4 파라미터, 활성화, 기울기 저장에서 성능 손실이 무시할 만큼 작아지는 비트 폭은 어느 정도인가?

주요 결과

• Maxout 네트워크는 활성화 및 기울기를 저장하는 데 10비트 정밀도만으로도 거의 최신 기술 수준의 성능를 달성한다.
• 모든 데이터셋에서 파라미터를 12비트 정밀도로 저장해도 근사 최적의 테스트 정확도를 유지할 수 있다.
• 동적 고정소수점 표현을 사용하면 비트 폭을 늘리지 않더라도 더 나은 정밀도 관리가 가능하다.
• 특히 활성화 및 기울기의 경우 정확도에 미미한 영향을 미치면서도 저장 요구량을 크게 줄일 수 있다.