[논문 리뷰] Deep Learning Training on the Edge with Low-Precision Posits

Hamed F. Langroudi, Zachariah Carmichael외 1명|arXiv (Cornell University)|2019. 07. 30.

Image Processing and 3D Reconstruction참고 문헌 30인용 수 9

한 줄 요약

이 논문은 엣지 장치에서 저정밀도 포지트(posit)를 사용하여 딥 네ural 네트워크(DNN)를 훈련시키는 방법을 제안하며, MNIST 및 패션-MNIST 분류 작업에서 16비트 포지트가 16비트 부동소수점보다 우수한 성능을 보임을 입증한다. 이 방법은 포지트의 테일러드-프리시전 성질을 활용하여 최소한의 하드웨어 복잡도로 정확도와 에너지 효율성을 향상시킨다. 16비트 포지트를 사용할 경우 MNIST에서 96.535%의 정확도, 패션-MNIST에서 87.400%의 정확도를 기록하여 각각 16비트 부동소수점보다 5% 이상 높게 성과를 내며, 이는 높은 정확도와 낮은 정밀도, 뛰어난 에너지 효율성의 조합을 실현한다.

ABSTRACT

Recently, the posit numerical format has shown promise for DNN data representation and compute with ultra-low precision ([5..8]-bit). However, majority of studies focus only on DNN inference. In this work, we propose DNN training using posits and compare with the floating point training. We evaluate on both MNIST and Fashion MNIST corpuses, where 16-bit posits outperform 16-bit floating point for end-to-end DNN training.

연구 동기 및 목표

• 제한된 메모리, 대역폭, 에너지원을 가진 자원이 제한된 엣지 장치에서 딥 네ural 네트워크를 훈련시키는 데 도전하는 문제를 해결하기 위해.
• 특히 추론이 아닌 종단 간 DNN 훈련을 위한 저정밀도 포지트 수치 형식의 효용성을 평가하기 위해.
• 소규모 이미지 분류 작업에서 16비트 및 32비트 포지트를 그들의 부동소수점 대응체와 정확도 및 효율성 측면에서 비교하기 위해.
• 기존의 저정밀도 방법보다 간단한 반올림 전략과 낮은 하드웨어 비용으로도 뛰어난 성능을 달성할 수 있음을 보여주기 위해.
• 손실 스케일링이나 철저한 파라미터 분석 없이도 16비트 포지트를 DNN의 모든 파라미터에 사용할 수 있는지 탐색하기 위해.

제안 방법

• 저자들은 Keras와 TensorFlow에서 소프트웨어 에뮬레이션 프레임워크를 구현하여 DNN 훈련을 위한 16비트 및 32비트 포지트 산술을 지원한다.
• 평가를 위해 표준의 3개의 은닉층을 가진 피드포워드 신경망 아키텍처를 사용한다.
• 반올림 전략으로 가장 가까운 값으로 반올림을 사용하여 가중치, 활성화, 기울기를 모두 포지트 형식으로 적용하며, 복잡한 확률적 반올림이나 손실 스케일링을 피한다.
• 포지트 및 부동소수점 형식 모두에서 16비트 및 32비트 정밀도를 지원하여 직접 비교가 가능하도록 한다.
• 훈련 과정은 표준 백프로파게이션과 Adam 옵tim자이저를 사용하며, beta1 및 beta2는 표준 값으로 설정된다.
• 포지트 수치 형식은 입력 크기에 따라 동적으로 인코딩되는 레지ime 및 지수 필드를 비트 수준 조작을 통해 구현한다.

실험 결과

연구 질문

• RQ1 저정밀도 포지트(16비트)는 엣지 장치에서 종단 간 DNN 훈련에서 16비트 부동소수점과 비슷하거나 더 높은 정확도를 달성할 수 있는가?
• RQ2 포지트의 테일러드-프리시전 특성은 고정 정밀도 형식에 비해 DNN 훈련 정확도와 에너지 효율성을 향상시키는가?
• RQ3 손실 스케일링 없이도 32비트 부동소수점 대체로 16비트 포지트를 DNN 훈련에 사용할 수 있는가? 복잡한 누적 정밀도가 필요하지 않은가?
• RQ4 BFP, 혼합 정밀도, 고정소수점과 같은 다른 저정밀도 방법과 비교했을 때 포지트 형식은 정확도 및 하드웨어 효율성 측면에서 어떻게 성과를 내는가?
• RQ5 16비트 포지트 훈련에 있어서 가장 가까운 값으로 반올림 전략만으로도 충분한가, 아니면 확률적 반올림이 필요한가?

주요 결과

• 16비트 포지트는 MNIST에서 96.535%의 테스트 정확도를 기록했으며, 16비트 부동소수점의 90.646%를 초월했다.
• 패션-MNIST에서 16비트 포지트는 87.400%의 정확도를 기록했으며, 16비트 부동소수점의 81.725%를 뛰어넘었다.
• 32비트 포지트의 MNIST 정확도는 98.131%였고, 32비트 부동소수점의 98.087%를 略로 초월했다.
• 패션-MNIST에서 32비트 포지트는 89.263%의 정확도를 기록했으며, 32비트 부동소수점의 89.105%보다 높았다.
• 포지트가 부동소수점보다 성능 향상이 뚜렷하게 나타나는 것은 두 데이터셋과 두 정밀도 수준에서 모두 일관되며, 이는 뛰어난 안정성을 시사한다.
• 결과는 포지트가 최소한의 하드웨어 복잡도로도 높은 정확도를 달성할 수 있으며, 손실 스케일링 없이도 가장 가까운 값으로 반올림 전략만으로도 충분함을 시사한다.