[논문 리뷰] Efficient Convolutional Neural Network For Audio Event Detection

Matthias Meyer, Lukas Cavigelli외 1명|arXiv (Cornell University)|2017. 09. 28.

Music and Audio Processing참고 문헌 13인용 수 11

한 줄 요약

이 논문은 상태기준 모델 대비 메모리 사용량을 515배 감소시키고 계산 연산을 2.1배 줄이며 정확도를 9.2% 향상시킨 고도로 효율적인 컨볼루션 신경망(CNN)을 제안한다. 이는 완전 연결층이 없는 구조적 디프스와이즈-분리형 CNN 아키텍처를 사용하여, ARM Cortex-M7 기반 저전력 임베디드 시스템에서 실시간 추론을 가능하게 한다.

ABSTRACT

Wireless distributed systems as used in sensor networks, Internet-of-Things and cyber-physical systems, impose high requirements on resource efficiency. Advanced preprocessing and classification of data at the network edge can help to decrease the communication demand and to reduce the amount of data to be processed centrally. In the area of distributed acoustic sensing, the combination of algorithms with a high classification rate and resource-constraint embedded systems is essential. Unfortunately, algorithms for acoustic event detection have a high memory and computational demand and are not suited for execution at the network edge. This paper addresses these aspects by applying structural optimizations to a convolutional neural network for audio event detection to reduce the memory requirement by a factor of more than 500 and the computational effort by a factor of 2.1 while performing 9.2% better.

연구 동기 및 목표

• 최신 상태의 CNN 모델이 음성 이벤트 검출에 있어 높은 메모리 및 계산 요구량을 유발하여 저전력 임베디드 시스템에의 배포를 어렵게 하는 문제를 해결하기 위해.
• 매개변수 수와 MAC 연산 수를 극적으로 줄이면서도 높은 분류 정확도를 유지하는 자원 효율적인 CNN 아키텍처를 개발하기 위해.
• 메모리와 처리 능력이 제한된 센서 노드 및 마이크로컨트롤러와 같은 엣지 장치에서 직접 실시간 음성 이벤트 검출을 가능하게 하기 위해.
• 에너지 효율성을 향상시키기 위해 하드웨어 가속기와 호환되는 네트워크 구조를 설계하기 위해.

제안 방법

• 모델은 원시 음성을 시간-주파수 표현으로 변환하기 위해 단기 푸리에 변환(STFT) 기반 프론트엔드를 사용한다.
• 매개변수 수와 계산 복잡도를 줄이면서도 특징 추출 능력을 유지하기 위해 디프스와이즈-분리형 컨볼루션 아키텍처를 적용한다.
• 완전 연결층을 전역 평균 풀링으로 대체하여 모델 크기와 매개변수 수를 최소화한다.
• ESC-50 데이터셋의 4초 윈도우드 입력에서 교차 엔트로피 손실 함수를 사용한 ADAM 옵timizer로 학습한다.
• 가속기 메모리 액세스 및 계산 패턴과 일치하는 규칙적이고 구조적인 계산 패턴을 확보하여 하드웨어 가속기 최적화를 수행한다.
• 성능 및 효율성에 미치는 아키텍처 설계의 영향을 분리하기 위해 주요 실험에서는 데이터 증강을 사용하지 않는다.

실험 결과

연구 질문

• RQ1 정확도를 희생시키지 않고 메모리 및 계산 효율성이 크게 향상된 CNN 기반 음성 이벤트 검출 모델을 개발할 수 있는가?
• RQ2 디프스와이즈-분리형 컨볼루션과 전역 평균 풀링과 같은 아키텍처 수정이 모델 크기와 추론 비용을 얼마나 줄일 수 있는가?
• RQ3 메모리와 처리 능력이 제한된 저전력 임베디드 마이크로컨트롤러에서 고도로 효율적인 CNN을 실시간으로 배포할 수 있는가?
• RQ4 복잡한 데이터 증강 없이 훈련된 경우, 제안된 아키텍처가 최신 상태 모델에 비해 분류 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 CNN-C 및 CNN-CNP 모델은 데이터 증강 없이 각각 86.0% 및 85.1%의 정확도를 달성하여 동일 조건에서 기준 모델 A와 B의 77.9% 및 80.3%를 초월한다.
• 메모리 요구량은 기준 모델의 466MB에서 제안 모델의 약 904kB로 515배 감소하였다.
• 곱셉-합계 연산(MAC) 수는 모델 B의 3533M에서 CNN-CNP의 1239M로 2.1배 감소하였다.
• 두 모델 모두 데이터 증강 없이 평가되었을 때, 기준 모델 A에 비해 정확도가 9.2% 향상되었다.
• 메모리가 최대 2MB인 NXP KV5x 및 ST STM32F7와 같은 저전력 장치에서 배포 가능하여, 430M MAC/s 이상의 처리 능력을 갖추고 있어 실시간 추론이 가능하다.
• 구조적이고 컨볼루션 전용 설계는 하드웨어 가속기와 잘 맞아 에너지 효율성과 성능 향상에 기여한다.