[논문 리뷰] A Fast Network Exploration Strategy to Profile Low Energy Consumption for Keyword Spotting

Arnab Neelim Mazumder, Tinoosh Mohsenin|arXiv (Cornell University)|2022. 02. 04.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 FPGAs에서 키워드 스폴팅(KWS)을 위한 에너지 효율적이고 양자화된, 스케일링된 딥 네트워크(DNN) 구성의 빠른 식별을 위해 회귀 기반의 네트워크 탐색 전략을 제안한다. 필터 스케일링(s)과 양자화(q)에 대해 다항 회귀를 통해 에너지 소비와 정확도를 모델링함으로써, 하드웨어 인식 설계 공간 탐색을 빠르게 수행할 수 있으며, 이는 이전의 FPGA 기반 KWS 가속기 대비 2.1배 낮은 에너지 소비와 4배 높은 에너지 효율성을 달성한다. Xilinx AC701 플랫폼에서의 성능이다.

ABSTRACT

Keyword Spotting nowadays is an integral part of speech-oriented user interaction targeted for smart devices. To this extent, neural networks are extensively used for their flexibility and high accuracy. However, coming up with a suitable configuration for both accuracy requirements and hardware deployment is a challenge. We propose a regression-based network exploration technique that considers the scaling of the network filters ($s$) and quantization ($q$) of the network layers, leading to a friendly and energy-efficient configuration for FPGA hardware implementation. We experiment with different combinations of $\mathcal{NN}\scriptstyle\langle q,\,s angle \displaystyle$ on the FPGA to profile the energy consumption of the deployed network so that the user can choose the most energy-efficient network configuration promptly. Our accelerator design is deployed on the Xilinx AC 701 platform and has at least 2.1$ imes$ and 4$ imes$ improvements on energy and energy efficiency results, respectively, compared to recent hardware implementations for keyword spotting.

연구 동기 및 목표

• 자원 제약이 있는 FPGA에서 저전력, 고정확도 KWS를 위한 최적의 DNN 하이퍼파라미터(필터 스케일링 s와 양자화 q) 선택 문제를 해결하기 위해.
• 모든 후보에 대해 전체 재학습이나 하드웨어 합성 없이도, 전수 검색 대신 회귀 모델링을 통해 DNN 구성 탐색의 시간과 계산 비용을 줄이기 위해.
• 실시간 KWS를 위한 정확도 요구 조건을 충족하는 에너지 효율적인 네트워크 구성의 빠른 식별을 가능하게 하기 위해.
• 다양한 처리 요소와 정밀도 수준을 지원하는 확장 가능하고 파rameterized 가속기 아키텍처를 개발하기 위해.

제안 방법

• 양자화(q)와 필터 스케일링(s) 파라미터에 대한 에너지 소비와 정확도를 함수로 모델링하는 회귀 기반의 네트워크 탐색 프레임워크를 개발하였다.
• 12개의 구성(작은 DNN 세트)에서의 실험 데이터를 사용해 두 개의 다항 회귀 모델을 훈련하여, 미리 보지 않은 (q,s) 조합의 정확도와 에너지 소비를 예측하였다.
• Xilinx AC701 FPGA에서 DNN 에너지 소비를 프로파일링하기 위해 체계적이고 실험적이며 분석적인 접근 방식을 사용하였으며, 주로 MFCC 기반 KWS 워크로드에 집중하였다.
• 다양한 (q,s) 구성에 대응할 수 있도록 파rameterized이고 확장 가능한 하드웨어 가속기를 설계하였으며, PE 활용도와 성능을 극대화하기 위해 출력 채널 타일링을 적용하였다.
• 모든 후보에 대해 전체 재학습이나 하드웨어 합성 없이도 최적의 구성 선택을 신속하게 수행할 수 있도록 프레임워크를 제공하였다.
• 신규 (q,s) 구성에 대해 회귀 예측값과 실제 측정값을 비교하여 검증하였으며, 높은 예측 정확도를 보였다.

실험 결과

연구 질문

• RQ1 FPGA에서 DNN 기반 KWS의 에너지 소비와 정확도에 미치는 필터 스케일링(s)과 양자화(q)의 변화가 미치는 영향은 무엇인가?
• RQ2 완전한 하드웨어 합성 없이도 다항 회귀 모델이 다양한 (q,s) 구성에서 DNN의 에너지 소비와 정확도를 정확하게 예측할 수 있는가?
• RQ3 이러한 방법은 전수 검색이나 NAS에 비해 DNN 구성 탐색의 시간과 비용을 어떻게 줄이는가?
• RQ4 저비용 FPGA에서 제안된 하드웨어 인식 탐색 전략을 사용할 경우 KWS의 실현 가능한 에너지 효율성과 정확도의 트레이드오프는 무엇인가?
• RQ5 이러한 회귀 모델은 다른 FPGA 플랫폼과 정밀도 수준에 대응하는 가속기 설계를 안내하는 데 일반화될 수 있는가?

주요 결과

• 회귀 모델은 높은 예측 정확도를 달성하여, 예측된 에너지 소비와 정확도 값이 새로운 (q,s) 구성에 대해 실제 측정값과 매우 유사하게 일치하였다.
• 제안된 가속기는 동일한 XC7A200T FPGA에서 최근의 Dinelli 등(2019)의 작업 대비 2.1배 낮은 에너지 소비와 4배 높은 에너지 효율성을 달성하였다.
• 100 MHz 클럭 주파수에서, Zhang 등(2017)의 마이크로컨트롤러 기반 구현 대비 8.5배 빠르면서도 더 낮은 에너지 소비를 기록하였다.
• 모델 크기는 단지 340 KB로, 저비용 마이크로컨트롤러나 엣지 디바이스에 배포하기에 적합하였다.
• 전체 설계 공간 프로파일링을 위해 필요한 DNN 학습 실행 수를 단 12회로 줄여 빠른 탐색을 가능케 하였다.
• 4비트 양자화와 4.5× 필터 스케일링에서 90.1%의 정확도를 달성하였으며, 에너지 소비는 0.58 mJ로, 이전의 FPGA 기반 KWS 시스템을 초월하였다.