[논문 리뷰] Listening to the World Improves Speech Command Recognition

Brian McMahan, Delip Rao|arXiv (Cornell University)|2017. 10. 23.

Music and Audio Processing인용 수 8

한 줄 요약

이 논문은 환경 음향 분류에서의 전이 학습을 활용하고, 확장된 컨volution을 통한 다중 척도 입력 표현을 통해 음성 명령 인식 성능을 향상시키는 새로운 접근법을 제안한다. 사전 훈련된 환경 음향 데이터와 확장 컨볼루션을 조합함으로써 더 넓은 음성 맥락을 포착하고 특징 이동성을 향상시켜, 훈련 데이터의 40%만으로도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We study transfer learning in convolutional network architectures applied to the task of recognizing audio, such as environmental sound events and speech commands. Our key finding is that not only is it possible to transfer representations from an unrelated task like environmental sound classification to a voice-focused task like speech command recognition, but also that doing so improves accuracies significantly. We also investigate the effect of increased model capacity for transfer learning audio, by first validating known results from the field of Computer Vision of achieving better accuracies with increasingly deeper networks on two audio datasets: UrbanSound8k and the newly released Google Speech Commands dataset. Then we propose a simple multiscale input representation using dilated convolutions and show that it is able to aggregate larger contexts and increase classification performance. Further, the models trained using a combination of transfer learning and multiscale input representations need only 40% of the training data to achieve similar accuracies as a freshly trained model with 100% of the training data. Finally, we demonstrate a positive interaction effect for the multiscale input and transfer learning, making a case for the joint application of the two techniques.

연구 동기 및 목표

• 환경 음향 분류에서의 전이 학습이 음성 명령 인식 작업 성능에 기여하는지 조사하기 위해
• 딥 컨volution 네트워크를 사용한 오디오 스펙트로그램 분류에서 모델의 깊이와 용량 증가가 성능에 미치는 영향을 평가하기 위해
• 다중 척도 입력 표현을 확장 컨볼루션을 활용해 설계하고 테스트하여 오디오 분류에서의 맥락 집합을 향상시키기 위해
• 전이 학습과 다중 척도 입력의 병합 효과가 음성 명령 인식에서 모델 정확도와 데이터 효율성에 미치는 영향을 검토하기 위해

제안 방법

• UrbanSound8K 및 Google Speech Commands 데이터셋에서 오디오 스펙트로그램 분류를 위해 딥 컨volution 네트워크, 특히 DenseNet 아키텍처를 사용하였다.
• 파arameter 수를 증가시키지 않으면서도 더 넓은 시간적 및 주파수적 맥락을 포착할 수 있도록, 단일 레이어에 확장 컨볼루션을 적용하여 다중 척도 입력 표현을 생성하였다.
• UrbanSound8K 데이터셋(환경 음향)에서 사전 훈련한 모델을 Google Speech Commands 데이터셋(음성 명령)에서 미세 조정하여 전이 학습을 수행하였다.
• 목표(음성 명령) 훈련 데이터의 양을 체계적으로 변화시켜, 사전 훈련과 다중 척도 입력이 가져다주는 데이터 효율성 향상을 평가하였다.
• 특수 하드웨어 없이도 대규모 훈련(최대 169층)이 가능한 단일 NVIDIA Titan X GPU에서 모델을 훈련시켰다.
• 다중 척도 입력 유무와 사전 훈련 유무에 따라 성능을 비교하여 각 구성 요소의 영향을 고립적으로 분석하였다.

실험 결과

연구 질문

• RQ1 환경 음향 분류에서의 전이 학습이 음성 명령 인식 작업 성능 향상에 기여하는가?
• RQ2 모델의 깊이 증가가 환경 음향과 음성 명령 모두에 대한 오디오 스펙트로그램 분류 정확도에 미치는 영향은 어떠한가?
• RQ3 다중 척도 입력 표현을 위한 확장 컨볼루션의 사용이 오디오 작업의 분류 성능 향상에 기여하는가?
• RQ4 전이 학습과 다중 척도 입력의 병합 효과가 음성 명령 인식에서 데이터 효율성과 모델 정확도에 미치는 영향은 무엇인가?
• RQ5 다중 척도 입력을 가진 사전 훈련된 모델이 더 일반화 가능한 오디오 표현을 학습하여 음성 명령 분류에 효과적으로 이동할 수 있는가?

주요 결과

• UrbanSound8K(환경 음향)에서 사전 훈련한 모델은 Google Speech Commands 데이터셋에서 무작위 초기화된 모델보다 성능이 뛰어나, 오디오 분류에서 성공적인 전이 학습을 입증하였다.
• 확장 컨볼루션을 통한 다중 척도 입력을 사용한 모델는 표준 컨볼루션 입력보다 더 높은 분류 정확도를 달성하여, 더 나은 맥락 집합이 가능함을 시사한다.
• 사전 훈련과 다중 척도 입력의 조합은 상호 보완적인 효과를 보이며, 개별 기술보다 훨씬 높은 성능 향상을 이끌어냈다.
• 사전 훈련된 모델에 다중 척도 입력을 적용한 경우, 전체 훈련 모델의 정확도에 도달하기 위해 훈련 데이터의 40%만으로도 충분했으며, 이는 상당한 데이터 효율성 향상을 의미한다.
• DenseNet 아키텍처는 다중 척도 입력과 사전 훈련을 결합했을 때 기준 모델 및 ResNet 모델보다 우수한 성능을 보였다.
• 가장 큰 모델인 169층 DenseNet은 단일 GPU에서 20분 내로 UrbanSound8K에서 성공적으로 훈련되었으며, 이는 해당 접근법의 확장성과 특수 하드웨어 없이도 구현 가능함을 보여준다.