[논문 리뷰] Efficient Softmax Approximation for Deep Neural Networks with Attention Mechanism

Ihor Vasyltsov, Wooseok Chang|arXiv (Cornell University)|2021. 11. 21.

Advanced Neural Network Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 주로 어텐션 기반 딥 네ural 네트워크에서 효율적인 소프트맥스 근사화를 위한 두 가지 LUT 기반 방법을 제안하며, 비용이 많이 드는 디바이더를 제거함으로써 하드웨어 가속을 가능하게 한다. 다양한 NLP 및 비전 작업에서 8비트 양자화 시에도 1% 이내의 정확도 손실을 달성하며, 강력한 일반화 능력과 낮은 메모리 오버헤드(700바이트)를 보여준다.

ABSTRACT

There has been a rapid advance of custom hardware (HW) for accelerating the inference speed of deep neural networks (DNNs). Previously, the softmax layer was not a main concern of DNN accelerating HW, because its portion is relatively small in multi-layer perceptron or convolutional neural networks. However, as the attention mechanisms are widely used in various modern DNNs, a cost-efficient implementation of softmax layer is becoming very important. In this paper, we propose two methods to approximate softmax computation, which are based on the usage of LookUp Tables (LUTs). The required size of LUT is quite small (about 700 Bytes) because ranges of numerators and denominators of softmax are stable if normalization is applied to the input. We have validated the proposed technique over different AI tasks (object detection, machine translation, sentiment analysis, and semantic equivalence) and DNN models (DETR, Transformer, BERT) by a variety of benchmarks (COCO17, WMT14, WMT17, GLUE). We showed that 8-bit approximation allows to obtain acceptable accuracy loss below $1.0\%$.

연구 동기 및 목표

• Transformer 및 BERT와 같은 어텐션 기반 모델에서 소프트맥스 레이어의 증가하는 계산 비용을 해결하기 위해, 특히 자원이 제한된 엣지 환경에서의 영향을 고려한다.
• 엣지 가속기에서 소프트맥스 계산을 호스트 CPU로 오프로드하는 데서 비효율이 발생하여, 지연 시간에 민감한 NLP 워크로드에서 성능이 저하되는 문제를 해결한다.
• 복잡한 나눗셈 연산을 피하고 전력 소모 및 지연 시간을 줄이는 하드웨어 우수한 소프트맥스 근사화 방법을 개발한다.
• 다양한 AI 작업 및 모델에 걸쳐 방법을 검증하여, 다양한 시퀀스 길이와 모델 아키텍처 조건에서도 일반화 능력과 강건성을 확보한다.

제안 방법

• 사전에 계산된 룩업 테이블(LUT)을 사용해 소프트맥스 함수를 조각별로 일정한 값으로 근사화하여 직접 계산을 대체한다.
• 입력 정규화를 활용해 분자 및 분모의 범위를 안정화시켜, 다양한 모델 간에 압축된 LUT 크기(~700바이트)를 유지한다.
• 두 가지 변형을 구현: 하나는 전체 소프트맥스 계산에 대해 단일 LUT를 사용하고, 다른 하나는 분자 및 분모에 별도의 LUT를 사용해 정밀도를 향상시킨다.
• 하드웨어 가속기(예: NPU)에 LUT 기반 소프트맥스를 통합하여 고면적의 디바이더 유닛이 필요 없도록 하여 전력 소모와 지연 시간을 감소시킨다.
• 재학습이 필요 없는 후기 양자화(PTQ-D) 기간 동안 방법을 적용하여 기존의 양자화 워크플로우와의 호환성을 확보한다.
• 정확도와 메모리 프로파일 간의 균형을 맞추기 위해 LUT 크기와 해상도(예: 256–512바이트)를 최적화하며, 특히 DETR+DC5와 같은 고강도 활성화를 보이는 모델에 적합하도록 한다.

실험 결과

연구 질문

• RQ1 작은 크기의 LUT 기반 소프트맥스 근사화가 엣지 AI 가속기에서 하드웨어 복잡성을 최소화하면서도 높은 정확도를 달성할 수 있는가?
• RQ2 제안된 방법은 BERT, DETR, Transformer와 같은 다양한 어텐션 기반 모델과 NLP, 객체 탐지 등의 작업에서 어떻게 성능을 발휘하는가?
• RQ3 LUT 크기와 양자화 정밀도(예: 8비트)가 고강도 소프트맥스 입력을 가진 모델에서 정확도 손실에 어떤 영향을 미치는가?
• RQ4 표준 PTQ-D 양자화 대비 LUT 기반 근사화의 정확도 저하 및 일반화 능력은 어떻게 비교되는가?
• RQ5 DETR와 같은 비대칭 활성화 분포를 가진 모델, 특히 확장(Dilation) 레이어가 있는 DETR(예: DETR+DC5)에 대해 이 방법은 얼마나 일반화되는가?

주요 결과

• 8비트 양자화를 사용할 경우, 평가된 모든 작업(객체 탐지, 기계 번역, 감성 분석, 의미 동치성)에서 제안된 LUT 기반 소프트맥스 근사화가 1.0% 이내의 정확도 손실을 기록한다.
• 기계 번역(WMT14/WMT17) 작업에서는 전체 정밀도 기준선 대비 BLEU 점수 편차가 0.5% 이하로 유지되어 성능 저하가 거의 없음을 확인한다.
• 감성 분석 및 의미 동치성(GLUE 벤치마크) 작업에서는 LUT 방법에 의한 정확도 저하가 PTQ-D 양자화만을 적용했을 때의 저하보다 일관되게 낮았다.
• 확장(Dilation) 레이어가 있는 DETR 모델(DETR+DC5)에서는 LUT 크기를 256바이트에서 512바이트로 증가시킴으로써 8비트 정밀도에서 정확도 저하를 9%에서 3%로 감소시켰으며, 이는 확장 가능성의 증거이다.
• 이 방법은 다양한 모델에 대해 잘 일반화된다: DETR, BERT, Transformer는 모두 최소한의 정확도 손실로 일관된 성능을 보이며 강건성을 확인한다.
• LUT 크기는 작게 유지되어 약 700바이트 수준이며, 메모리 제약이 있는 엣지 디바이스에 배포하기에 실용적이며, 상당한 면적 또는 전력 오버헤드 없이도 구현 가능하다.