[논문 리뷰] Broadcasted Residual Learning for Efficient Keyword Spotting

Byeonggeun Kim, Simyung Chang외 2명|arXiv (Cornell University)|2021. 06. 08.

Speech and Audio Processing참고 문헌 28인용 수 8

한 줄 요약

이 논문은 주파수별 평균화와 브로드캐스트를 통해 1D 시간적 및 2D 주파수-시간 컨볼루션을 결합하는 새로운 방법인 브로드캐스트드 리지드 러닝을 제안한다. 이를 통해 자원이 제한된 엣지 디바이스에서 효율적이고 높은 정확도의 키워드 스핑팅을 실현한다. 결과적으로 BC-ResNet 아키텍처는 Google Speech Commands v1과 v2에서 각각 98.0% 및 98.7%의 최상위 1 정확도를 달성하며, 최소한의 파라미터와 연산량으로도 뛰어난 성능을 보인다.

ABSTRACT

Keyword spotting is an important research field because it plays a key role in device wake-up and user interaction on smart devices. However, it is challenging to minimize errors while operating efficiently in devices with limited resources such as mobile phones. We present a broadcasted residual learning method to achieve high accuracy with small model size and computational load. Our method configures most of the residual functions as 1D temporal convolution while still allows 2D convolution together using a broadcasted-residual connection that expands temporal output to frequency-temporal dimension. This residual mapping enables the network to effectively represent useful audio features with much less computation than conventional convolutional neural networks. We also propose a novel network architecture, Broadcasting-residual network (BC-ResNet), based on broadcasted residual learning and describe how to scale up the model according to the target device's resources. BC-ResNets achieve state-of-the-art 98.0% and 98.7% top-1 accuracy on Google speech command datasets v1 and v2, respectively, and consistently outperform previous approaches, using fewer computations and parameters. Code is available at https://github.com/Qualcomm-AI-research/bcresnet.

연구 동기 및 목표

• 자원이 제한된 엣지 디바이스에서 모델 크기와 계산 비용을 최소화하면서도 높은 정확도를 달성하는 데 도전한다.
• 순수한 1D 또는 2D 컨볼루션의 한계를 극복한다: 1D는 주파수 이동 불변성을 결여하지만, 2D의 경우 높은 계산 비용을 유발한다.
• 다양한 디바이스 자원 제약 조건에서도 높은 성능을 유지할 수 있는 경량이고 확장 가능한 신경망 아키텍처를 설계한다.
• 새로운 리지드 연결 메커니즘을 통해 1D와 2D 컨볼루션의 장점을 조합하여 효율적인 특징 학습을 가능하게 한다.

제안 방법

• 브로드캐스트드 리지드 러닝을 도입하여, 2D 특징을 주파수 차원에 따라 평균화해 1D 시간적 특징을 생성하고, 이를 1D 시간 컨볼루션으로 처리한 후 다시 2D로 브로드캐스트하여 리지드 연결을 수행한다.
• 주파수 그룹을 개별적으로 정규화하기 위해 주파수-깊이 컨볼루션과 SubSpectralNorm(SSF)을 사용하여 주파수 인식 특징 표현을 향상시킨다.
• 2D 컨볼루션 이후 주파수 차원에 대해 평균 풀링을 적용하여 차원을 감소시키고 시간 처리 이전에 차원을 축소한다.
• 1D 잔차 특징을 2D 입력 형상에 맞게 확장하는 브로드캐스트드 리지드 연결을 갖춘 리지드 블록을 구현하여 아이덴티티 스키프트 학습을 가능하게 한다.
• 채널 너비를 스케일링 인자 τ로 증가시켜 BC-ResNets라는 확장 가능한 네트워크 패밀리를 설계하여 다양한 디바이스 자원에 적응 가능하게 한다.
• 정규화 없이 채널 차원을 변경할 수 있도록 1×1 컨볼루션을 사용한 전이 블록을 구현하여 아키텍처의 유연성을 높인다.

실험 결과

연구 질문

• RQ1 순수한 1D 또는 2D 방법과 비교해, 1D와 2D 컨볼루션의 하이브리드 접근 방식이 계산 비용을 줄이면서도 정확도를 향상시킬 수 있는가?
• RQ2 제안된 브로드캐스트드 리지드 러닝 메커니즘이 모델 복잡도를 증가시키지 않으면서도 1D와 2D 컨볼루션의 장점을 효과적으로 조합할 수 있는가?
• RQ3 표준 배치 정규화와 비교해, 저자원 키워드 스핑팅 환경에서 SubSpectralNorm의 사용이 성능 향상에 얼마나 기여하는가?
• RQ4 채널 너비 조정을 통한 BC-ResNet의 확장성은 다양한 하드웨어 제약 조건에서 정확도와 효율성에 어떤 영향을 미치는가?
• RQ5 기존 모델과 비교해 상당히 적은 파라미터와 곱셈-누적 연산 수로도 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• BC-ResNet-1은 단지 9.2만 개의 파라미터와 310만 개의 MACs로 Google Speech Commands v1에서 96.6%의 최상위 1 정확도를 달성하며, 10.9배 적은 파라미터로 1D 기반 모델을 능가한다.
• BC-ResNet-8는 각각 v1 및 v2 데이터셋에서 98.0% 및 98.7%의 최상위 1 정확도를 기록하며 SOTA 성능을 달성했으며, 파라미터 수는 321만 개, MACs는 8910만 개였다.
• SSN를 사용한 모델은 BN 버전보다 0.4% 이상 높은 정확도를 보였으며, SSN과 2D 잔차 구성 요소를 모두 제거하면 정확도가 크게 떨어졌다.
• BC-ResNet-3는 13.7배 적은 파라미터와 1620만 개의 MACs로 최신 기술 수준의 MHAtt-RNN을 능가하는 정확도를 달성했다.
• 그림 1과 그림 3에서 보듯이, BC-ResNets는 다른 접근 방식에 비해 파라미터당 정확도와 MAC당 정확도에서 일관되게 뛰어난 성능을 보였다.
• 주파수 감소에 최대 풀링을 사용한 경우 정확도는 略로 떨어지지만, 여전히 순수한 1D 또는 2D 모델보다 뛰어나며, 이는 프레임워크의 강건성을 시사한다.