[논문 리뷰] Estimating Phoneme Class Conditional Probabilities from Raw Speech Signal using Convolutional Neural Networks

Dimitri Palaz, Ronan Collobert외 1명|arXiv (Cornell University)|2013. 04. 03.

Speech Recognition and Synthesis인용 수 4

한 줄 요약

이 논문은 전통적인 특징 추출을 생략하고 원시 음성 신호에서 직접 음소 클래스 조건부 확률을 추정하는 컨volutional 신경망(CNN)을 제안한다. 이 방법은 기존의 MFCC 기반 시스템과 비교하여 유사하거나 더 높은 음소 인식 정확도를 달성하며, CNN이 원시 음성 데이터에서 관련 음성 특징을 자동으로 학습할 수 있음을 보여준다.

ABSTRACT

In hybrid hidden Markov model/artificial neural networks (HMM/ANN) automatic speech recognition (ASR) system, the phoneme class conditional probabilities are estimated by first extracting acoustic features from the speech signal based on prior knowledge such as, speech perception or/and speech production knowledge, and, then modeling the acoustic features with an ANN. Recent advances in machine learning techniques, more specifically in the field of image processing and text processing, have shown that such divide and conquer strategy (i.e., separating feature extraction and modeling steps) may not be necessary. Motivated from these studies, in the framework of convolutional neural networks (CNNs), this paper investigates a novel approach, where the input to the ANN is raw speech signal and the output is phoneme class conditional probability estimates. On TIMIT phoneme recognition task, we study different ANN architectures to show the benefit of CNNs and compare the proposed approach against conventional approach where, spectral-based feature MFCC is extracted and modeled by a multilayer perceptron. Our studies show that the proposed approach can yield comparable or better phoneme recognition performance when compared to the conventional approach. It indicates that CNNs can learn features relevant for phoneme classification automatically from the raw speech signal.

연구 동기 및 목표

• 컨volutional 신경망이 음소 분류를 위해 원시 음성 신호에서 직접 관련 음성 특징을 학습할 수 있는지 조사하기.
• CNN 아키텍처 프레임워크 내에서 기존의 MFCC 기반 특징과 원시 음성 입력의 성능를 비교하기.
• 조건부 랜덤 필드(CRF) 기반 디코딩과 생성적 HMM 디코딩 간의 음소 인식 정확도에 미치는 영향 평가하기.
• 최대 풀링 레이어가 모델 일반화 능력 향상과 파rameter 수 감소에 기여하는지 평가하기.

제안 방법

• 시스템은 원시 음성 웨이브포맷을 직접 입력으로 사용하는 다층 컨볼루션 및 풀링 레이어를 갖춘 깊은 CNN 아키텍처를 사용한다.
• TIMIT 음소 인식 작업에서 교차 엔트로피 손실을 사용하여 음소 클래스 조건부 확률을 예측하도록 네트워크를 훈련시킨다.
• 연속적인 음소 간 의존성을 모델링하기 위해 CRF 기반 디코딩 알고리즘을 적용하여 HMM 디코딩보다 인식 정확도를 향상시켰다.
• 학습된 주파수 응답 특성을 이해하기 위해 첫 번째 컨볼루션 레이어의 필터를 분석한다.
• 기본 모델로 MFCC 특징을 사용한 MLP와 표준 HMM 디코딩을 사용한 모델과 비교한다.
• 필터 크기, 풀링, 네트워크 깊이 등의 하이퍼파라미터를 조정하여 과적합을 최소화하면서 성능를 최적화한다.

실험 결과

연구 질문

• RQ1 수작업 특징(예: MFCC)을 사용하는 시스템과 비교해 볼 때, 원시 음성 신호에서 훈련된 CNN이 경쟁 가능한 음소 인식 성능를 달성할 수 있는가?
• RQ2 최대 풀링 레이어가 인식 정확도 향상과 모델 복잡도 감소에 기여하는 기여도는 어떠한가?
• RQ3 CRF 기반 디코딩과 HMM 기반 디코딩 간의 음소 인식 정확도에서의 성능 비교는 어떠한가?
• RQ4 CNN의 첫 번째 컨볼루션 레이어에서 학습된 필터들이 음소 분류에 관련된 의미 있는 주파수 대역에 대응하는가?

주요 결과

• 원시 음성 입력을 사용한 CNN 모델은 TIMIT 코어 테스트 세트에서 67.88%의 음소 인식 정확도를 달성했으며, 원시 입력을 사용한 기본 MLP(38.91%)를 뛰어넘고 MFCC 기반 시스템의 성능에 근접했다.
• 동일한 CNN 아키텍처에서 MFCC 특징을 사용하면 HMM 디코딩으로 70.52%의 정확도를 기록했으며, 원시 입력보다 略로 높았지만, 차이가 미미했다.
• CRF 디코딩 전략은 원시 입력 기반으로 69.47%의 정확도, MFCC 특징 기반으로 71.80%의 정확도를 달성하여, 생성적 HMM 디코딩 대비 성능 향상이 있음을 시사했다.
• 최대 풀링 레이어는 성능 향상에 기여했다: 제거 시 정확도는 67.60%에서 64.96%로 감소했고, 파rameter 수도 증가했다.
• 첫 번째 컨볼루션 레이어의 필터들이 명확한 주파수 응답 특성을 학습한 것으로 나타나, 청각적으로 관련된 음성 대역에 맞춰진 대역통과 필터로 작용하는 것으로 보였다.
• 결과적으로 깊이 있는 CNN이 원시 음성에서 효과적인 표현을 자동으로 학습할 수 있으며, 수작업 특징에 대한 의존도를 감소시킬 수 있음을 시사한다.