[논문 리뷰] Speech Recognition: Keyword Spotting Through Image Recognition

Sanjay Krishna Gouda, Salil Kanetkar외 2명|arXiv (Cornell University)|2018. 03. 10.

Handwritten Text Recognition TechniquesComputer Science참고 문헌 13인용 수 19

한 줄 요약

이 논문은 음성 인식을 이미지 분류 문제로 전환하기 위해 오디오 클립을 로그 스펙트로그램으로 변환함으로써 강력한 컨volutional 신경망(CNN)을 키워드 스포팅에 활용할 수 있도록 제안한다. 가상의 적대적 훈련(VAT)이 모델의 견고성 향상에 크게 기여하고 검증 정확도 92%를 달성함으로써, 소음 조건에서도 뛰어난 성능을 보이는 새로운 효과적인 정규화 기법임을 입증한다.

ABSTRACT

The problem of identifying voice commands has always been a challenge due to the presence of noise and variability in speed, pitch, etc. We will compare the efficacies of several neural network architectures for the speech recognition problem. In particular, we will build a model to determine whether a one second audio clip contains a particular word (out of a set of 10), an unknown word, or silence. The models to be implemented are a CNN recommended by the Tensorflow Speech Recognition tutorial, a low-latency CNN, and an adversarially trained CNN. The result is a demonstration of how to convert a problem in audio recognition to the better-studied domain of image classification, where the powerful techniques of convolutional neural networks are fully developed. Additionally, we demonstrate the applicability of the technique of Virtual Adversarial Training (VAT) to this problem domain, functioning as a powerful regularizer with promising potential future applications.

연구 동기 및 목표

• 소음이 많고 변수가 많은 음성 환경에서의 키워드 스포팅 문제를 해결하기 위해, 음성을 이미지 유사한 스펙트로그램으로 변환하여 기존에 잘 알려진 CNN 기법을 적용한다.
• 자원 제약 조건과 제약 없음 조건에서 표준, 저지연, 적대적으로 훈련된 다양한 CNN 아키텍처를 평가하고 비교한다.
• 가상의 적대적 훈련(VAT)이 음성 인식에서 정규화 기법으로서의 효과성을 조사하며, 특히 모델의 일반화 능력 향상과 소음에 대한 견고성 향상 여부를 분석한다.
• 모델 정확도 향상과 효율성 향상을 위해 스펙트로그램 및 네트워크 하이퍼파라미터(윈도우 크기, 스트라이드, 주파수 빈 수)를 최적화한다.

제안 방법

• 짧은 시간 푸리에 변환을 사용하여 오디오 클립을 로그 스펙트로그램으로 변환함으로써, 일차원 음성 신호를 2차원 이미지 유사 표현으로 변환하여 2D CNN에 적합하게 한다.
• 세 가지 CNN 모델을 훈련한다: 텐서플로우 음성 인식 튜토리얼에서 유래한 표준 CNN, 메모리 및 계산 효율성에 최적화된 저지연 CNN, 그리고 견고성 향상을 위한 VAT 정규화 적용된 CNN.
• 가상의 적대적 훈련(VAT)을 적용하여 레이블이 없이도 입력 공간에서 적대적 편향을 생성함으로써 일반화 능력을 향상시키고 과적합을 감소시킨다.
• 정확도와 효율성을 극대화하기 위해 스펙트로그램 파라미터(윈도우 크기, 스트라이드, 주파수 빈 수)와 네트워크 아키텍처 구성 요소에 대한 하이퍼파라미터 튜닝을 수행한다.
• 훈련 데이터에 다양한 신호 대 잡음 비율(SNR, 0에서 0.5까지)의 노이즈를 주입하여 실제 환경 조건에서의 모델 견고성 평가를 수행한다.
• 모델 성능은 10개의 키워드 인식 작업에서 평가되며, 추가 클래스로는 알 수 없는 단어와 침묵이 포함된다.

실험 결과

연구 질문

• RQ1 음성을 스펙트로그램으로 변환하는 것이 기존 1D 네트워크에 의해 처리되던 음성 인식 작업에 대해 2D CNN 기법의 효과적인 적용을 가능하게 하는가?
• RQ2 가상의 적대적 훈련(VAT)이 소음 조건 하에서 키워드 스포팅 정확도 향상에 있어 표준 정규화 기법(예: 드롭아웃)보다 우수한가?
• RQ3 스펙트로그램 파라미터(윈도우 크기, 스트라이드, 주파수 해상도)의 최적 설정은 무엇인가? 이는 키워드 스포팅 정확도를 극대화하기 위한 것이다.
• RQ4 저지연 CNN 아키텍처는 자원 제약이 있는 장치에 배포하기 위해 계산 효율성과 인식 성능 사이의 균형을 어떻게 유지하는가?
• RQ5 배경 노이즈를 활용한 데이터 증강 기법이 실제 음성 인식 환경에서 모델의 견고성 향상에 얼마나 기여하는가?

주요 결과

• 로그 스펙트로그램을 입력으로 사용함으로써 이미지 기반 CNN 기법의 효과적인 전이가 가능해져 모델 성능이 크게 향상된다.
• 가상의 적대적 훈련(VAT)은 데이터의 20% 랜덤 샘플에서 최대 검증 정확도 92%를 기록하여 드롭아웃과 같은 표준 정규화 기법보다 뛰어난 성능을 보였다.
• 주파수 빈 수를 증가시켜(10에서 40으로)도 성능이 악화됨을 확인하여, 더 높은 스펙트럼 해상도가 항상 인식 정확도 향상에 기여하지는 않는다는 점을 시사한다.
• 스펙트로그램 생성 시 윈도우 크기와 스트라이드 모두 최적 범위를 가지며, 너무 작거나 너무 큰 값은 각각 부족한 정보나 정보 손실로 인해 성능 저하를 초래한다.
• 모델는 배경 노이즈에 대해 뛰어난 견고성을 보였으며, 신호 대 잡음 비율이 6 dB까지 낮아져도 정확도가 몇 점포인트만 감소하여 실제 환경 적용 가능성 높음을 시사한다.
• 하이퍼파라미터 튜닝이 매우 중요하며, 네트워크 아키텍처나 스펙트로그램 파라미터의 비최적 선택은 모델 정확도를 심각하게 떨어뜨린다.