[논문 리뷰] Low precision arithmetic for deep learning

Matthieu Courbariaux, Yoshua Bengio외 1명|arXiv (Cornell University)|2014. 01. 01.

Neural Networks and Applications인용 수 87

한 줄 요약

이 논문은 깊이 있는 신경망을 저해상도 산술을 사용하여 훈련시키는 가능성에 대해 조사한다. 이는 부동소수점, 고정소수점, 동적 고정소수점 형식을 포함한다. 연구에서는 활성화 및 기울기의 경우 10비트 정밀도, 파라미터 업데이트의 경우 12비트 정밀도로도 MNIST, CIFAR10, SVHN에서 최신 기술 수준에 근접한 성능을 달성함을 보여주며, 훈련 및 추론 모두에 저해상도 산술 계산이 충분함을 시사한다.

ABSTRACT

We simulate the training of a set of state of the art neural networks, the Maxout networks (Goodfellow et al., 2013a), on three benchmark datasets: the MNIST, CIFAR10 and SVHN, with three distinct arithmetics: floating point, fixed point and dynamic fixed point. For each of those datasets and for each of those arithmetics, we assess the impact of the precision of the computations on the final error of the training. We find that very low precision computation is sufficient not just for running trained networks but also for training them. For example, almost state-of-the-art results were obtained on most datasets with 10 bits for computing activations and gradients, and 12 bits for storing updated parameters.

연구 동기 및 목표

• 최신 기술 수준의 깊이 있는 신경망 훈련에 저해상도 산술이 미치는 영향을 평가하기 위해.
• 정확도 손실이 크게 없이도 훈련 및 추론에 필요한 최소 정밀도를 결정하기 위해.
• 저해상도 환경에서 부동소수점, 고정소수점, 동적 고정소수점 산술 간의 성능을 비교하기 위해.
• 다양한 벤치마크 데이터셋에서 경쟁 가능한 테스트 오차율을 유지할 수 있는 정밀도 임계값을 규명하기 위해.

제안 방법

• 부동소수점, 고정소수점, 동적 고정소수점의 세 가지 산술 유형을 사용하여 MNIST, CIFAR10, SVHN에서 Maxout 네트워크의 시뮬레이션 훈련을 수행하였다.
• 계산 정밀도(활성화 및 기울기)와 파라미터 저장 정밀도를 다양한 비트 폭 설정으로 변화시켰다.
• 모델 성능에 정밀도의 영향을 평가하기 위해 훈련 후 최종 테스트 오차를 측정하였다.
• 모든 정밀도 설정 간의 영향을 분리하기 위해 일관된 훈련 초모수를 사용하였다.
• 계산 및 파라미터 저장에 대해 8비트에서 16비트까지의 정밀도 수준을 평가하였다.
• 계산 중 이진점 위치를 동적으로 조정함으로써 정밀도 효율성을 향상시키기 위해 동적 고정소수점 산술을 활용하였다.

실험 결과

연구 질문

• RQ1 수용 가능한 정확도를 확보하기 위해 깊이 있는 신경망 훈련에 필요한 최소 정밀도는 얼마인가?
• RQ2 저해상도 산술이 표준 벤치마크 데이터셋에서 최종 테스트 오차에 어떤 영향을 미치는가?
• RQ3 고정소수점 또는 동적 고정소수점 산술이 전체 정밀도 부동소수점 훈련과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 정밀도와 계산 효율성 간의 트레이드오프가 유리해지는 비트 폭은 어느 수준인가?
• RQ5 MNIST, CIFAR10, SVHN과 같은 다른 데이터셋 간에 필요한 정밀도가 달라지는가?

주요 결과

• 활성화 및 기울기의 경우 10비트 정밀도로 훈련하면 세 데이터셋 모두에서 최신 기술 수준에 근접한 성능을 달성하였다.
• 업데이트된 파라미터를 저장하는 데 12비트 정밀도로도 높은 모델 정확도를 유지하는 데 충분하였다.
• 매우 낮은 정밀도 산술, 즉 고정소수점 및 동적 고정소수점 산술을 사용함으로써 최종 테스트 오차 손실이 최소화된 훈련이 가능하였다.
• 결과적으로 정밀도를 크게 줄여도 모델 성능에 영향을 주지 않음을 시사한다.
• 저해상도 훈련의 성능은 MNIST, CIFAR10, SVHN 간에 일관되었으며, 이는 광범위한 적용 가능성을 시사한다.
• 동적 고정소수점 산술은 저해상도 훈련에서 정밀도와 효율성 사이의 실용적인 균형을 제공하였다.