[논문 리뷰] Hardware-oriented Approximation of Convolutional Neural Networks

Philipp Gysel, Mohammad Motamedi외 1명|arXiv (Cornell University)|2016. 04. 11.

Advanced Neural Network Applications참고 문헌 21인용 수 280

한 줄 요약

Ristretto는 동적 고정 소수점 표현을 사용하여 부동소수점 CNN을 자동으로 고정소수점으로 자른 후 미세 조정하는 Caffe 기반 프레임워크로, 1% 오차 허용도에서 최소 정확도 손실로 8비트 모델을 달성합니다.

ABSTRACT

High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in accelerator development is hardware-oriented model approximation. In this paper we present Ristretto, a model approximation framework that analyzes a given CNN with respect to numerical resolution used in representing weights and outputs of convolutional and fully connected layers. Ristretto can condense models by using fixed point arithmetic and representation instead of floating point. Moreover, Ristretto fine-tunes the resulting fixed point network. Given a maximum error tolerance of 1%, Ristretto can successfully condense CaffeNet and SqueezeNet to 8-bit. The code for Ristretto is available.

연구 동기 및 목표

• 하드웨어 친화적인 CNN 배치를 촉진하기 위해 계산과 메모리 요구를 줄인다.
• 부동소수점 CNN을 고정소수점 표현으로 변환하기 위한 사후 학습 양자화 및 미세 조정 도구를 개발한다.
• 대규모 네트워크에서 정확도를 보존하는 전략으로 동적 고정 소수를 탐구한다.
• 합성곱 계층과 완전 연결 계층에서 비트 폭 감소가 정확도에 미치는 영향을 정량화한다.
• 가속기 지향 CNN 압축을 위해 Caffe와 함께 사용할 수 있는 오픈 소스 솔루션을 제공한다.

제안 방법

• 근사 반올림(round-nearest) 매핑으로 부동소수점 네트워크를 고정 소수점으로 양자화한다.
• 포화 없이 충분한 정수부를 결정하기 위해 층 활성화를 분석한다.
• 합성곱 가중치, 층 출력 및 완전 연결 가중치의 최적 비트 폭을 찾기 위해 이진 탐색을 수행한다.
• 동적 범위를 관리하기 위해 각 네트워크 층을 가중치와 출력의 두 그룹으로 분할하고 독립적인 비트 폭을 적용한다.
• 전체 정밀 그림자 가중치를 사용하여 고정소수점 네트워크를 재학습(미세 조정)한다.
• 전방 전파 중 부동소수점 누적을 사용해 하드웨어 시뮬레이션 정밀도를 확보하고 최적화된 행렬 연산을 활용한다.

실험 결과

연구 질문

• RQ1 动态 고정 소수점을 사용한 고정소수점 표현이 큰 CNN에서 높은 정확도를 유지할 수 있는가?
• RQ2 비트 폭 축소와 분류 정확도 간의 트레이드오프는 합성곱 계층과 완전 연결 계층에서 어떻게 다른가?
• RQ3 동적 고정 소수점은 대규모 네트워크(CaffeNet, GoogLeNet)에서 정확도를 보존하는 데 정적 고정 소수점과 비교하여 어떤가?
• RQ4 사후 학습 양자화와 그에 따른 미세 조정이 여러 생태계에서 네트워크 성능에 어떤 영향을 주는가?
• RQ5 현대 CNN에서 심각한 정확도 손실 없이 8비트 이하 표현을 달성하는 것이 가능한가?

주요 결과

• 동적 고정 소수점은 대규모 네트워크에서 낮은 비트 폭에서도 정적 고정 소수점보다 정확도를 현저히 더 잘 유지한다.
• 합성곱 커널과 층 활성화는 8비트로 양자화하더라도 네트워크 전체에서 약 0.3%의 절대 정확도 손실로 달성할 수 있다.
• 완전 연결 계층 매개변수는 더 민감하며 8비트에서 최대 0.9%의 절대 정확도 손실을 보인다.
• LeNet 가중치는 2비트로 잘라도 0.4% 미만의 정확도 손실로 가능하다.
• 다섯 개 네트워크(LeNet, CIFAR-10, CaffeNet, GoogLeNet, SqueezeNet)는 8비트 동적 고정 소수점으로 미세 조정 시 부동소수점 기준에서 정확도 하락이 2.3% 미만이다.
• Ristretto는 약 4–8배의 메모리 대역폭 감소 및 온칩 매개변수 4–8배 증가 등 상당한 하드웨어 이점을 가능하게 하며 압축 해제 오버헤드 없이 작동한다.