[논문 리뷰] Hardware Aware Training for Efficient Keyword Spotting on General Purpose and Specialized Hardware

Peter Blouw, Gurshaant Malik외 3명|arXiv (Cornell University)|2020. 09. 09.

Speech Recognition and Synthesis참고 문헌 15인용 수 8

한 줄 요약

이 논문은 하드웨어 인지 훈련(HAT)을 도입한 레전드르 메모리 유닛(LMU)-기반 키워드 스로잉(KWS) 모델을 소개하며, 최소한의 모델 크기와 초저전력 소비로 최신 기술 수준의 정확도(95.9%)를 달성한다. LMU 아키텍처와 하드웨어 구현을 공동 최적화함으로써, 맞춤형 가속기 하드웨어에서 실시간, 온디바이스 추론이 가능하며 전력 소비는 단 8.79 μW에 그친다. 이는 일반 목적의 마이크로컨트롤러보다 24배, 전용 ASIC보다 16배 높은 전력 효율성을 확보한다.

ABSTRACT

Keyword spotting (KWS) provides a critical user interface for many mobile and edge applications, including phones, wearables, and cars. As KWS systems are typically 'always on', maximizing both accuracy and power efficiency are central to their utility. In this work we use hardware aware training (HAT) to build new KWS neural networks based on the Legendre Memory Unit (LMU) that achieve state-of-the-art (SotA) accuracy and low parameter counts. This allows the neural network to run efficiently on standard hardware (212$μ$W). We also characterize the power requirements of custom designed accelerator hardware that achieves SotA power efficiency of 8.79$μ$W, beating general purpose low power hardware (a microcontroller) by 24x and special purpose ASICs by 16x.

연구 동기 및 목표

• 실시간, 항상 켜진 엣지 디바이스에 적합한 고정확도, 저전력 키워드 스로잉 시스템을 개발하기 위해.
• 스트리밍 추론, 양자화, 전력 효율성과 같은 실세계 구현 제약 조건을 고려하지 않은 기존 KWS 모델의 한계를 해결하기 위해.
• 하드웨어 인지 훈련(HAT)이 일반 목적의 마이크로컨트롤러부터 맞춤형 가속기에 이르기까지 다양한 하드웨어 플랫폼에서 뛰어난 성능을 발휘할 수 있음을 보여주기 위해.
• 특히 다중 키워드 검출에 있어 정확도, 모델 크기, 전력 효율성의 동시에 최신 기술 수준의 성과를 달성하기 위해.
• 파rameter 효율적인 LMU 기반 모델이 고정밀도 전용 ASIC보다도 뛰어난 전력 효율성을 확보하면서도 높은 정확도를 유지할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 하드웨어 인지 훈련(HAT)을 사용하여 신경망 아키텍처와 하드웨어 배포를 공동 최적화하며, 훈련 과정에서 하드웨어 제약 조건을 명시적으로 모델링한다.
• 레전드르 메모리 유닛(LMU)을 활용하며, 레전드르 기저 함수를 사용해 증명 가능한 최적의 메모리 압축을 제공하는 순환 아키텍처로, 파라미터 수를 감소시키고 장기적 메모리 유지 능력을 향상시킨다.
• 내부 순환 연결을 제거하고, 여러 개의 선형 메모리 레이어를 포함한 방식으로 LMU를 수정하며, 비선형 변환을 거치기 전에 출력을 연결한다.
• 저전력 하드웨어에 효율적인 구현을 위해 가중치와 활성화를 8비트로 양자화한다.
• 실시간 동작에서 전력 소비를 최소화하기 위해 동적 전압 및 주파수 스케일링(DVFS)과 최적화된 글루 로직을 갖춘 맞춤형 가속기 하드웨어를 설계한다.
• 모델과 하드웨어를 HAT를 통해 공동 설계함으로써, 다양한 주파수 설정에서 전력, 지연, 처리량을 직접 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 하드웨어 인지 훈련(HAT)을 사용해 실시간, 저전력 키워드 스로잉을 위한 신경망 아키텍처와 하드웨어 배포를 공동 최적화할 수 있는가?
• RQ2 레전드르 메모리 유닛(LMU) 아키텍처가 기존 RNN 및 CNN과 비교해 KWS 작업에서 더 높은 정확도와 더 낮은 파라미터 수를 달성할 수 있는가?
• RQ3 맞춤형 설계된 가속기가 일반 목적의 마이크로컨트롤러와 기존 전용 ASIC보다 현저히 높은 전력 효율성을 확보할 수 있는가?
• RQ4 파라미터 효율적인 LMU 기반 모델이 성능을 유지하거나 초월하면서도 전용 하드웨어가 필요 없어질 정도로 영향을 미칠 수 있는가?
• RQ5 HAT와 LMU 아키텍처의 조합이 다양한 하드웨어 플랫폼에서 전력 효율성, 정확도, 모델 크기에 어떤 영향을 미치는가?

주요 결과

• LMU 기반 KWS 모델은 SpeechCommands 데이터셋에서 95.9%의 정확도를 달성하며, 정확도와 효율성 면에서 이전 최신 기술 수준의 모델을 모두 초월한다.
• Syntiant NDP10x ASIC보다 파라미터 수가 12배 적지만, 더 높은 정확도(95.9% 대 94.0%)와 16–19배 낮은 전력 소비를 기록한다.
• 표준 ARM M4F 마이크로컨트롤러에서 모델은 212 μW를 소비하며, 기존에 보고된 일반 목적 하드웨어 효율성 대비 24배 향상된 성능이다.
• 맞춤형 설계된 가속기는 92 kHz 클럭 주파수에서 기록적인 8.79 μW의 전력 소비를 기록했으며, 13.38 ms 프레임 처리량과 40 ms 업데이트에 대해 39.59 ms의 지연을 보였다.
• 이dealized ARM M4F에서 HAT 최적화된 LMU 모델은 119 μW로 작동하여, 기존에 보고된 최고의 일반 목적 하드웨어보다 14배 높은 전력 효율성을 확보했다.
• 결과적으로 HAT는 다양한 하드웨어 플랫폼에서 전력 효율성을 직접 최적화할 수 있음을 보여주며, 고정확도, 저전력 KWS가 일반 및 전용 하드웨어 모두에서 실현 가능하다는 것을 입증한다.