[논문 리뷰] Delta Keyword Transformer: Bringing Transformers to the Edge through Dynamically Pruned Multi-Head Self-Attention

Zuzana Jelčicová, Marian Verhelst|arXiv (Cornell University)|2022. 03. 20.

Topic Modeling참고 문헌 35인용 수 4

한 줄 요약

이 논문은 순차적 데이터에서 시간적 안정성을 활용하여 다중 헤드 자기주의(MHSA) 계산을 동적으로 임계값 기반으로 정제하는 Delta Keyword Transformer를 제안한다. 연속 토큰 간에 중요한 특징 차이(델타 값)만 유지함으로써, 정확도 손실 없이 최대 80%의 곱셈-누적(MAC) 수를 감소시키며, 정확도 손실이 1–4%일 경우 최대 94%까지 감소시킨다. 이는 엣지 디바이스에서의 효율적인 트랜스포머 배포를 가능하게 한다.

ABSTRACT

Multi-head self-attention forms the core of Transformer networks. However, their quadratically growing complexity with respect to the input sequence length impedes their deployment on resource-constrained edge devices. We address this challenge by proposing a dynamic pruning method, which exploits the temporal stability of data across tokens to reduce inference cost. The threshold-based method only retains significant differences between the subsequent tokens, effectively reducing the number of multiply-accumulates, as well as the internal tensor data sizes. The approach is evaluated on the Google Speech Commands Dataset for keyword spotting, and the performance is compared against the baseline Keyword Transformer. Our experiments show that we can reduce ~80% of operations while maintaining the original 98.4% accuracy. Moreover, a reduction of ~87-94% operations can be achieved when only degrading the accuracy by 1-4%, speeding up the multi-head self-attention inference by a factor of ~7.5-16.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에의 배포를 제한하는 트랜스포머에서 다중 헤드 자기주의(MHSA)의 높은 계산 비용을 해결한다.
• 재학습이나 전용 하드웨어가 필요한 기존 정제 방법의 한계를 극복한다.
• 정밀도 조정 없이도 미세학습 없이 추론 중 MAC 연산을 줄임으로써, 초소형 머신러닝(tinyML) 디바이스에서 실시간·저전력 추론을 가능하게 한다.
• 순차적 토큰 간 델타 계산을 활용해 추론 시점에서 세밀하고 동적인 정제를 달성한다.
• 키워드 검색 작업에서 엣지 디바이스에서 높은 정확도를 유지하면서 계산 복잡도를 극적으로 감소시킨다.

제안 방법

• 입력 시퀀스에서 연속 토큰의 대응하는 특징 간 델타 차이를 계산하여, MHSA 구성 요소에 대해 임계값 기반 정제를 적용한다.
• 사전 정의된 임계값을 초과하는 비영 델타 값만 유지하고 처리하며, 의미 없는 변화는 기각함으로써 MAC 연산을 감소시킨다.
• 각각의 MHSA 구성 요소에 대해 별도의 임계값을 도입한다: 입력 프로젝션(XW), 쿼리-키 내적(QK^T), 소프트맥스 출력, 최종 헤드 프로젝션(W_P).
• 재학습 없이 추론 시점에 동적 정제를 수행함으로써 사전 학습된 모델에 즉각적인 배포가 가능하다.
• 특히 침묵 또는 안정된 오디오 세그먼트에서 대부분의 델타 값이 0이 되는 시간적 중복성을 활용하여 고압축을 달성한다.
• 추가 하드웨어나 복잡한 학습이 필요 없는 경량 비교 기반 메커니즘을 사용하여 엣지 배포에 적합하다.

실험 결과

연구 질문

• RQ1 다중 헤드 자기주의의 동적이고 임계값 기반 정제가 재학습 없이도 계산 비용을 줄일 수 있는가? 정확도 저하 없이도 가능한가?
• RQ2 델타 기반 정제는 순차적 데이터의 시간적 안정성을 얼마나 효과적으로 활용하여 엣지 추론에 기여하는가?
• RQ3 정제 임계값을 변화시킬 경우 계산 절감과 정확도 손실 사이의 상호 교환 관계는 어떠한가?
• RQ4 이 방법은 사전 학습된 트랜스포머의 다양한 레이어와 입력 유형에 일반적으로 적용 가능한가?
• RQ5 키워드 검색 작업에서 높은 정확도를 유지하면서 MAC 연산을 얼마나 줄일 수 있는가?

주요 결과

• 메서드를 통해 다중 헤드 자기주의에서 최대 80%의 MAC 연산을 감소시키며, 구글 스피치 커맨드 데이터셋에서 정확도 손실 없이 98.4%의 정확도를 유지한다.
• 정확도 1% 손실로 7.5배의 속도 향상을 달성했으며, 이는 MAC 감소율이 86.73–93.65%에 이르는 바이다.
• 정확도가 1–4% 감소할 경우 최대 16배의 추론 속도 향상을 기록하여 강력한 성능-계산량 트레이드오프를 보여준다.
• 침묵("_silence_") 키워드 인스턴스에서는 97–99.9%의 연산 감소를 달성했으며, 이는 입력 특징이 거의 일정하기 때문이다.
• 일부 설정에서는 원본 KWT-3 모델(98.46%, 98.48%, 98.42% 정확도)을 초월하는 성능을 기록하면서도 계산을 줄였다.
• 평균적으로 레이어 간 총 MHSA 연산의 70–77%가 생략되며, 최대 헤드 프로젝션의 87%와 QK^T 연산의 95%가 기각된다.