[论文解读] Hardware Implementation of Hyperbolic Tangent Function using Catmull-Rom Spline Interpolation

Mahesh Chandra|arXiv (Cornell University)|Jul 13, 2020

Model Reduction and Neural Networks参考文献 4被引用 5

一句话总结

本文提出了一种低面积、高精度的双曲正切（tanh）函数硬件实现方法，采用Catmull-Rom样条插值技术，在神经网络加速器中实现了最先进的性能。通过使用最小化逻辑面积的分段多项式逼近方法，该方法实现了计算复杂度降低的高效实时推理。

ABSTRACT

Deep neural networks yield the state of the art results in many computer vision and human machine interface tasks such as object recognition, speech recognition etc. Since, these networks are computationally expensive, customized accelerators are designed for achieving the required performance at lower cost and power. One of the key building blocks of these neural networks is non-linear activation function such as sigmoid, hyperbolic tangent (tanh), and ReLU. A low complexity accurate hardware implementation of the activation function is required to meet the performance and area targets of the neural network accelerators. This paper presents an implementation of tanh function using the Catmull-Rom spline interpolation. State of the art results are achieved using this method with comparatively smaller logic area.

研究动机与目标

• 设计一种低复杂度、面积高效的硬件加速器，用于深度神经网络中使用的双曲正切函数。
• 通过减少面积和延迟，同时保持高精度，改进现有的tanh近似方法。
• 实现在资源受限的神经网络推理加速器中激活函数的高效部署。
• 证明Catmull-Rom样条插值在tanh近似中提供了精度、面积和复杂度之间的优越权衡。

提出的方法

• 在预定义区间内，使用Catmull-Rom样条插值对双曲正切函数进行近似。
• 该方法将输入范围划分为多个区间，并应用分段立方多项式以实现平滑插值。
• 样条的控制点基于特定输入点处已知的tanh值进行选择，以确保精度。
• 通过查找表和简单的算术单元在硬件中实现插值，以最小化面积开销。
• 该设计针对定点运算进行优化，以减少FPGA或ASIC实现中的资源使用。
• 该方法通过依赖多项式求值和基于表格的预计算，避免了复杂的超越函数运算。

实验结果

研究问题

• RQ1 Catmull-Rom样条插值能否在极低硬件面积下实现tanh函数的高精度？
• RQ2 与现有tanh近似技术相比，该方法在面积、延迟和精度方面表现如何？
• RQ3 为最小化tanh近似中的误差，最优的分段策略和控制点选择方法是什么？
• RQ4 该方法在多大程度上能够降低神经网络推理加速器中的计算复杂度？

主要发现

• 所提出的基于Catmull-Rom样条的tanh实现方法在显著减少逻辑面积的同时，实现了最先进的精度。
• 该方法在整个tanh函数输入范围内均保持高精度，误差水平适用于深度学习推理。
• 由于高效使用分段多项式逼近和紧凑的查找表，硬件设计所需面积极小。
• 该实现支持低延迟的实时运行，适用于高吞吐量的神经网络加速器。