[논문 리뷰] Accurate and Efficient Hyperbolic Tangent Activation Function on FPGA using the DCT Interpolation Filter

Ahmed M. Abdelsalam, J. M. Pierre Langlois외 1명|arXiv (Cornell University)|2016. 09. 25.

Model Reduction and Neural Networks참고 문헌 5인용 수 5

한 줄 요약

이 논문은 고정밀도, 자원 효율적인 하이퍼볼릭 탄젠트 활성화 함수 근사 기법을 제안한다. 이 기법은 FPGAs 기반 딥 뉴럴 네트워크(DNN)에서 이산余弦변환 보간 필터(DCTIF)를 사용한다. 이 방법은 이전 연구 대비 최대 100배 높은 정밀도를 달성하면서도 면적과 지연 시간의 최소한의 오버헤드를 유지하며, DNN 학습 및 테스트 성능을 정확한 함수와 유사하게 유지한다.

ABSTRACT

Implementing an accurate and fast activation function with low cost is a crucial aspect to the implementation of Deep Neural Networks (DNNs) on FPGAs. We propose a high-accuracy approximation approach for the hyperbolic tangent activation function of artificial neurons in DNNs. It is based on the Discrete Cosine Transform Interpolation Filter (DCTIF). The proposed architecture combines simple arithmetic operations on stored samples of the hyperbolic tangent function and on input data. The proposed DCTIF implementation achieves two orders of magnitude greater precision than previous work while using the same or fewer computational resources. Various combinations of DCTIF parameters can be chosen to tradeoff the accuracy and complexity of the hyperbolic tangent function. In one case, the proposed architecture approximates the hyperbolic tangent activation function with 10E-5 maximum error while requiring only 1.52 Kbits memory and 57 LUTs of a Virtex-7 FPGA. We also discuss how the activation function accuracy affects the performance of DNNs in terms of their training and testing accuracies. We show that a high accuracy approximation can be necessary in order to maintain the same DNN training and testing performances realized by the exact function.

연구 동기 및 목표

• FPGA 기반 DNN 가속기에서 고정밀도, 저자원 소비 하이퍼볼릭 탄젠트 활성화 함수를 구현하는 데 도전한다.
• 기존 하드웨어 구현에서 근사 정밀도와 계산 복잡도 사이의 상충 관계를 극복한다.
• 활성화 함수 근사 정밀도가 DNN 학습 및 추론 성능에 미치는 영향을 조사한다.
• FPGA에서 면적과 지연 시간 오버헤드를 최소화하면서도 고정밀도를 달성할 수 있는 새로운 DCTIF 기반 근사 기법을 개발한다.

제안 방법

• 이산余弦변환 보간 필터(DCTIF)를 활용하여 저장된 샘플과 선형 보간을 이용해 하이퍼볼릭 탄젠트 함수를 근사한다.
• 하이퍼볼릭 탄젠트 함수의 기수 대칭성을 활용하여 양의 입력 값만 저장함으로써 메모리 요구량을 감소시킨다.
• DCT 기반 보간을 사용해 저장된 샘플 간의 중간 값을 계산함으로써 산술 복잡도를 최소화한다.
• 정밀도와 자원 사용량을 균형 잡기 위해 DCTIF 파라미터(예: 필터 길이, 샘플 밀도)를 최적화한다.
• Virtex-7 FPGA에서 기본 산술 연산(덧셈, 시프트)과 소규모 룩업 테이블만을 사용해 아키텍처를 구현한다.
• 다양한 DNN 아키텍처와 데이터셋을 대상으로 평가하여 학습 및 테스트 정확도에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 하이퍼볼릭 탄젠트 근사의 정밀도가 FPGA에서 DNN의 학습 및 테스트 성능에 어떤 영향을 미치는가?
• RQ2 기존 방법들(예: PWL, LUT, 하이브리드)에 비해 더 높은 정밀도를 달성하면서도 더 적은 계산 및 메모리 자원을 사용할 수 있는가?
• RQ3 정확한 하이퍼볼릭 탄젠트 함수와 유사한 DNN 성능을 유지하기 위해 필요한 최소 근사 오차는 얼마인가?
• RQ4 다양한 DCTIF 파라미터 설정이 FPGA 구현에서 정밀도, 면적, 지연 시간 사이의 상호 교환 관계를 어떻게 형성하는가?
• RQ5 제안된 방법이 다양한 아키텍처와 데이터셋에서 DNN 정확도를 얼마나 잘 유지하는가?

주요 결과

• 제안된 DCTIF 기반 근사 기법은 Virtex-7 FPGA에서 1.52 Kbits 메모리와 57 LUT만을 사용해 최대 오차 10^-5를 달성하며, 이는 자원 대비 정밀도 비율 면에서 이전 연구를 뛰어넘는 성능을 보였다.
• MNIST 데이터셋에서 10^-5 오차 근사 기법은 테스트 정확도 95.8%를 유지하여 정확한 함수와 동일한 성능을 보였다.
• Sinc 회귀 작업에서 10^-5 오차 근사 기법은 학습 정확도 90.287%를 달성했으며, 정확한 함수의 90.287%와 유사한 성능을 보였다.
• 심지어 최대 오차 0.04일 경우에도 학습 정확도가 크게 떨어졌으며(예: 암 데이터셋에서 94.1%에서 68.0%로 감소), 이는 저정밀도 근사가 DNN 성능을 떨어뜨린다는 것을 시사한다.
• 이 연구는 복잡한 아키텍처에서 DNN 학습 및 테스트 성능을 유지하기 위해 고정밀도 근사(예: 10^-5 오차)가 필수적임을 입증하였다.
• 유사하거나 더 적은 자원을 사용함에도 불구하고 DCTIF 방법은 이전 접근 방식 대비 정밀도를 100배 향상시켜 FPGA에서 고성능 DNN 추론에 적합하다.