[논문 리뷰] Hardware Implementation of Hyperbolic Tangent Function using Catmull-Rom Spline Interpolation

Mahesh Chandra|arXiv (Cornell University)|2020. 07. 13.

Model Reduction and Neural Networks참고 문헌 4인용 수 5

한 줄 요약

이 논문은 신경망 가속기에서 최신 기술 수준의 성능을 달성하는 저면적, 고정밀도 하드웨어 구현을 위해 쌍곡 tangent 함수(tanh)를 Catmull-Rom 스퍼플 인터폴레이션을 사용하여 제시한다. 조각별 다항식 근사화를 통해 최소한의 논리 면적으로 구현함으로써, 계산 복잡도를 감소시켜 실시간 추론을 효율적으로 구현할 수 있다.

ABSTRACT

Deep neural networks yield the state of the art results in many computer vision and human machine interface tasks such as object recognition, speech recognition etc. Since, these networks are computationally expensive, customized accelerators are designed for achieving the required performance at lower cost and power. One of the key building blocks of these neural networks is non-linear activation function such as sigmoid, hyperbolic tangent (tanh), and ReLU. A low complexity accurate hardware implementation of the activation function is required to meet the performance and area targets of the neural network accelerators. This paper presents an implementation of tanh function using the Catmull-Rom spline interpolation. State of the art results are achieved using this method with comparatively smaller logic area.

연구 동기 및 목표

• 딥 신경망에서 사용되는 쌍곡 tangent 함수를 위한 저복잡도이자 면적 효율적인 하드웨어 가속기를 설계하기 위해.
• 기존의 근사화 방법을 개선하여 면적과 지연 시간을 줄이면서도 고정밀도를 유지하기 위해.
• 자원 제약이 있는 신경망 추론 가속기에서 활성화 함수의 효율적 구현을 가능하게 하기 위해.
• Catmull-Rom 스퍼플 인터폴레이션 기법이 tanh 근사화에서 정밀도, 면적, 복잡도 간의 우수한 트레이드오���을 제공할 수 있음을 입증하기 위해.

제안 방법

• 정의된 구간에서 쌍곡 tangent 함수를 Catmull-Rom 스퍼플 인터폴레이션을 사용하여 근사화한다.
• 입력 범위를 세그먼트로 나누고, 부드러운 인터폴레이션을 위해 조각별 입방 다항식을 적용한다.
• 정확도를 확보하기 위해 특정 입력 지점에서의 알려진 tanh 값에 기반하여 스퍼플의 제어점을 선택한다.
• 면적 오버헤드를 최소화하기 위해 룩업 테이블과 단순 산술 유닛을 사용하여 인터폴레이션을 하드웨어로 구현한다.
• FPGA 또는 ASIC 구현에서 자원 사용을 줄이기 위해 고정소수점 산술을 최적화하기 위해 설계한다.
• 복잡한 초월함수 연산을 피하기 위해 다항식 평가와 테이블 기반 사전 계산에 의존한다.

실험 결과

연구 질문

• RQ1 Catmull-Rom 스퍼플 인터폴레이션 기법이 최소한의 하드웨어 면적으로 tanh 함수에 대해 고정밀도를 달성할 수 있는가?
• RQ2 제안된 방법은 기존의 tanh 근사화 기법들과 비교하여 면적, 지연 시간, 정밀도 측면에서 어떻게 성능을 냈는가?
• RQ3 오차를 최소화하기 위해 최적의 세그먼트 분할 및 제어점 선택 전략은 무엇인가?
• RQ4 이 방법은 신경망 추론 가속기에서 계산 복잡도를 얼마나 줄일 수 있는가?

주요 결과

• 제안된 Catmull-Rom 스퍼플 기반 tanh 하드웨어 구현은 이전 방법들과 비교해 훨씬 적은 논리 면적으로 최신 기술 수준의 정밀도를 달성한다.
• tanh 함수의 전체 입력 범위에서 고정밀도를 유지하며, 딥러닝 추론에 적합한 오차 수준을 확보한다.
• 조각별 다항식 근사화와 컴팩트한 룩업 테이블을 효율적으로 사용함으로써 하드웨어 설계에 최소한의 면적을 요구한다.
• 낮은 지연 시간을 지원하여 실시간 동작이 가능하므로 고스루풋 신경망 가속기와 적합하다.