[논문 리뷰] Reduced-Precision Strategies for Bounded Memory in Deep Neural Nets

Patrick Judd, Jorge Albericio외 5명|arXiv (Cornell University)|2015. 11. 17.

Advanced Neural Network Applications참고 문헌 23인용 수 84

한 줄 요약

이 논문은 분류 정확도를 32비트 부동소수점 기준으로 1% 이내로 유지하면서 메모리 용량을 크게 줄이는, 각 레이어에 대해 감소된 정밀도 전략을 제안한다. 다섯 개의 CNN 아키텍처를 분석함으로써 혼합 정밀도 설정을 통해 데이터 저장 용량을 최대 92%까지 줄일 수 있으며, 평균적으로는 74% 감소시키며 정확도 손실는 최소화하면서 메모리 효율성과 성능 향상을 크게 확보한다.

ABSTRACT

This work investigates how using reduced precision data in Convolutional Neural Networks (CNNs) affects network accuracy during classification. More specifically, this study considers networks where each layer may use different precision data. Our key result is the observation that the tolerance of CNNs to reduced precision data not only varies across networks, a well established observation, but also within networks. Tuning precision per layer is appealing as it could enable energy and performance improvements. In this paper we study how error tolerance across layers varies and propose a method for finding a low precision configuration for a network while maintaining high accuracy. A diverse set of CNNs is analyzed showing that compared to a conventional implementation using a 32-bit floating-point representation for all layers, and with less than 1% loss in relative accuracy, the data footprint required by these networks can be reduced by an average of 74% and up to 92%.

연구 동기 및 목표

• 다른 CNN 아키텍처 간뿐만 아니라, 개별 네트워크 내에서 레이어 수준에서 정밀도 요구 사항이 어떻게 변화하는지 조사하기 위해.
• 높은 분류 정확도를 유지하면서 메모리 용량을 최소화하는 레이어 기반 최적의 혼합 정밀도 설정을 도출하기 위한 방법을 개발하기 위해.
• 딥 러닝 추론에서 레이어 기반 정밀도 할당이 메모리 트래픽과 데이터 대역폭에 미치는 영향을 평가하기 위해.
• 동적 레이어 기반 정밀도 할당이 균일한 저정밀도 전략에 비해 메모리 효율성과 성능 면에서 뚜렷한 우수성을 보일 수 있음을 입증하기 위해.
• 미래의 저정밀도 딥 러닝 가속기의 하드웨are 및 소프트웨어 공동 설계를 위한 기반을 마련하기 위해.

제안 방법

• 저자들은 LeNet, ConvNet, AlexNet, NiN, GoogLeNet와 같은 잘 알려진 다섯 개의 CNN 아키텍처를 훈련하고 평가하기 위해 Caffe 딥 러닝 프레임워크를 사용한다.
• 무게와 활성화 값의 비트 폭을 독립적으로 점진적으로 감소시키면서 레이어 기반 오차 내성도를 분석하여 다양한 정밀도 수준에서 정확도 저하를 측정한다.
• 혼합 정밀도 설정은 32비트 부동소수점 기준 정확도 손실가 1% 이내로 제약을 두고 최소한의 메모리 트래픽을 달성하도록 최적화하여 결정된다.
• 고정점 표현 방식을 사용하며 정수부와 소수부 비트를 별도로 처리하고, 레이어 간 정밀도와 메모리 대역폭 간의 상호 교환 관계를 평가한다.
• 트래픽 감소는 32비트 기준 대비 비율로 정량화되며, 오차 내성 기준 1%, 2%, 5%, 10%에 대해 결과를 보고한다.
• 다양한 네트워크 아키텍처를 통해 검증되었으며, 정밀도 요구 사항이 네트워크 간 및 네트워크 내에서 뚜렷한 차이를 보임을 확인하였다.

실험 결과

연구 질문

• RQ1 동일한 네트워크 내에서 CNN의 감소 정밀도에 대한 내성은 레이어 간 어떻게 변화하는가?
• RQ2 균일한 저정밀도 표현에 비해 레이어 기반 정밀도 할당이 높은 정확도를 유지하면서 더 큰 메모리 절감을 달성할 수 있는가?
• RQ3 주어진 CNN에 대해 메모리 용량을 최소화하면서 정확도 손실가 최소가 되는 최적의 혼합 정밀도 설정은 무엇인가?
• RQ4 다른 CNN 아키텍처 간 정밀도 요구 사항은 어떻게 변화하는가? 이 트렌드는 네트워크 복잡도와 관련이 있는가?
• RQ5 1% 정확도 내성 조건 하에서, 레이어별 정밀도를 적용했을 때 중간 활성화의 최대 메모리 감소율은 얼마인가?

주요 결과

• 5개의 CNN 아키텍처에서 중간 활성화의 평균 메모리 용량은 32비트 부동소수점 기준으로 1% 이내 정확도 손실을 유지하면서 혼합 정밀도 설정을 통해 평균 74% 감소시킬 수 있다.
• 최상의 경우 일부 레이어는 정확도를 유지하면서 단 2비트의 정밀도만으로도 충분하며, 이는 레이어 간 정밀도 요구 사항의 극단적인 변동성을 보여준다.
• 최대 메모리 감소율은 특정 네트워크에서 92%에 이를 수 있으며, 1% 정확도 내성 조건 하에서도 최악의 경우에도 74%의 감소율을 기록한다.
• 16비트 고정점 기준과 비교했을 때 제안된 방법은 평균적으로 51%의 메모리 감소를 달성하며, 이는 레이어 기반 최적화의 우수성을 입증한다.
• 이 방법은 최신이며 더 복잡한 네트워크일수록 일반적으로 더 높은 정밀도를 요구함을 규명하였으며, 이는 아키텍처 복잡도 증가에 따라 정밀도 요구 사항도 증가하는 경향이 있음을 시사한다.
• 정밀도를 레이어 기반으로 조정할 경우 트래픽 감소 효과가 가장 크며, 최적 설정은 1%~10% 오차 내성 범위에서 데이터 트래픽을 최대 76%까지 감소시킨다.