[논문 리뷰] Tiny Transformers for Environmental Sound Classification at the Edge

David Elliott, Carlos E. Otero외 2명|arXiv (Cornell University)|2021. 03. 22.

Music and Audio Processing참고 문헌 51인용 수 12

한 줄 요약

이 논문은 엣지 디바이스에서 환경 음향 분류를 위한 매우 효율적인 BERT 기반 트랜스포머 모델을 제안한다. 멜 스펙트로그램과 자기지도 학습 미리학습을 사용하며, 오피스 사운즈 데이터셋에서 훈련되어 실시간 추론이 가능한 모바일 및 마이크로컨트롤러 플랫폼에서 작동한다. 이 모델은 단지 6,642개의 파라미터를 사용하여 기존의 CNN보다 99.85% 작고, 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

With the growth of the Internet of Things and the rise of Big Data, data processing and machine learning applications are being moved to cheap and low size, weight, and power (SWaP) devices at the edge, often in the form of mobile phones, embedded systems, or microcontrollers. The field of Cyber-Physical Measurements and Signature Intelligence (MASINT) makes use of these devices to analyze and exploit data in ways not otherwise possible, which results in increased data quality, increased security, and decreased bandwidth. However, methods to train and deploy models at the edge are limited, and models with sufficient accuracy are often too large for the edge device. Therefore, there is a clear need for techniques to create efficient AI/ML at the edge. This work presents training techniques for audio models in the field of environmental sound classification at the edge. Specifically, we design and train Transformers to classify office sounds in audio clips. Results show that a BERT-based Transformer, trained on Mel spectrograms, can outperform a CNN using 99.85% fewer parameters. To achieve this result, we first tested several audio feature extraction techniques designed for Transformers, using ESC-50 for evaluation, along with various augmentations. Our final model outperforms the state-of-the-art MFCC-based CNN on the office sounds dataset, using just over 6,000 parameters -- small enough to run on a microcontroller.

연구 동기 및 목표

• 크기, 무게, 전력 소비(SWaP)가 제한된 저전력 엣지 디바이스에 정확하고 효율적인 기계학습 모델을 구현하는 데 도전한다.
• 기존의 CNN과 트랜스포머의 한계를 극복하기 위해 마이크로컨트롤러와 모바일 디바이스에 적합한 작고 파라미터 효율적인 모델을 설계한다.
• 소규모로 미세조정된 트랜스포머가 표준 벤치마크인 ESC-50에서 성능이 열 劣하지만 특정 ESC 데이터셋(오피스 사운즈)에서는 더 큰 CNN보다 뛰어난 성능을 낼 수 있음을 입증한다.
• 모델 크기와 계산 비용을 최소화하여 현장에서의 추론과 잠재적인 현장 재학습 가능성을 확보한다.

제안 방법

• 자기주의 어텐션 메커니즘과 마스크된 예측 목표를 사용하여 오디오 클립의 멜 스펙트로그램을 기반으로 BERT 기반 트랜스포머를 미리학습한다.
• 다중 클래스 분류를 위해 표준 크로스 엔트로피 손실을 사용하여 오피스 사운즈 데이터셋에서 미리학습된 모델을 미세조정한다.
• 시간 이동, 노이즈 주입, 주파수 마스킹과 같은 데이터 증강 기법을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 모델 크기와 추론 지연 시간을 줄이기 위해 동적 양자화를 적용하여 삼성 갤럭시 S9와 같은 엣지 디바이스에 배포 가능하게 한다.
• 모바일 및 마이크로컨트롤러 플랫폼에서 검증 정확도와 추론 지연 시간과 같은 표준 지표를 사용해 성능을 평가한다.
• 파라미터 수, FLOPs, 추론 시간을 핵심 효율성 지표로 삼아 최신 기술 수준의 MFCC 기반 CNN과 성능 및 효율성을 비교한다.

실험 결과

연구 질문

• RQ1 작고 효율적인 트랜스포머 모델이 엣지 디바이스에서 환경 음향 분류에 있어 훨씬 큰 CNN보다 뛰어난 정확도를 달성할 수 있는가?
• RQ2 모델 크기와 파라미터 수가 모바일 및 마이크로컨트롤러 플랫폼에서 추론 속도와 에너지 효율성에 어떤 영향을 미치는가?
• RQ3 왜 트랜스포머는 더 큰, 더 다양한 ESC-50 데이터셋에서는 성능이 열 劣하지만 오피스 사운즈 데이터셋에서는 CNN을 능가하는가?
• RQ4 양자화 및 모델 압축 기법을 얼마나 적용하면 지연 시간과 메모리 프로파일을 줄일 수 있으며 정확도를 유지할 수 있는가?
• RQ5 모델의 전방향 계산에 필요한 계산 비용이 극히 낮기 때문에 현장에서의 재학습이 가능한가?

주요 결과

• 제안된 6,642개 파라미터의 트랜스포머는 오피스 사운즈 데이터셋에서 447만 개 파라미터의 CNN보다 검증 정확도에서 2% 이상 뛰어나 성능을 냈다.
• CNN 대비 99.85%의 파라미터 감소를 이룬 동시에 더 높은 정확도를 유지하여 뚜렷한 효율성 향상을 입증했다.
• 삼성 갤럭시 S9에서 가장 작은 모델의 추론 지연 시간은 7ms로, CNN보다 88% 더 빠르고 100만 개 파라미터의 트랜스포머보다 93% 더 빠르게 작동했다.
• 동적 양자화로 추론 지연 시간이 21% 감소하여 정적 양자화로 추가 최적화 가능성이 있음을 시사했다.
• 5초 길이의 오디오 클립에서 95.2%의 정확도를 달성했지만, 1초로 단축하면 성능이 크게 떨어져 속도와 정확도 사이의 상충 관계를 보였다.
• 각 클래스에 200개 이상의 샘플이 존재하는 오피스 사운즈 데이터셋에서의 성공은, 트랜스포머의 일반화 능력 향상을 위해 더 큰 균형 잡힌 데이터셋이 필수적일 수 있음을 시사한다.