[논문 리뷰] Modified Mel Filter Bank to Compute MFCC of Subsampled Speech

Kiran Kumar Bhuvanagiri, Sunil Kumar Kopparapu|arXiv (Cornell University)|2014. 10. 25.

Speech Recognition and Synthesis참고 문헌 6인용 수 3

한 줄 요약

이 논문은 시간 압축(하향샘플링)된 음성에서 원래 음성의 MFCC와의 상관관계를 높이고 음성 인식 정확도를 향상시키기 위해 수정된 멜 필터 밴드를 제안한다. 기존 방법보다 우수한 성능을 보이며, 원래 음성 스펙트럼의 중심 주파수와 대역폭을 하향샘플링된 음성 스펙트럼에 맞추어 정렬함으로써, 8 kHz 하향샘플링된 음성에서의 인식 정확도를 16 kHz 원본 음성 수준에 가깝게 유지한다.

ABSTRACT

Mel Frequency Cepstral Coefficients (MFCCs) are the most popularly used speech features in most speech and speaker recognition applications. In this work, we propose a modified Mel filter bank to extract MFCCs from subsampled speech. We also propose a stronger metric which effectively captures the correlation between MFCCs of original speech and MFCC of resampled speech. It is found that the proposed method of filter bank construction performs distinguishably well and gives recognition performance on resampled speech close to recognition accuracies on original speech.

연구 동기 및 목표

• 시간 압축(하향샘플링된) 음성을 처리할 때도 높은 음성 인식 성능을 유지하는 데 도전하는 것.
• 원본 음성의 MFCC와 하향샘플링된 음성에서 추출한 MFCC 간의 상관관계를 향상시키는 것.
• 특히 저속도 샘플링에서 인식에 필수적인 스펙트럼 특성을 유지하는 필터 밴드 설계를 개발하는 것.
• 기존에 원본 음성에서 훈련된 HMM 모델을 재학습 없이 하향샘플링된 음성의 디코딩에 사용할 수 있도록 하는 것.

제안 방법

• 원본 16 kHz 음성 스펙트럼의 스펙트럼 에너지 프로파일을 유지하기 위해, 하향샘플링된 음성(예: 8 kHz)에 특화된 중심 주파수와 대역폭을 갖춘 수정된 멜 필터 밴드를 설계하는 것.
• 비율 감소된 샘플링 속도에서도 청각적 마스킹 성질을 유지하면서 임계대역을 낮은 주파수 영역으로 매핑하기 위해 주파수 왜곡 함수를 사용하는 것.
• 표준 DFT 및 MFCC 계산 전에 윈도우 처리된 재샘플링된 음성 프레임에 수정된 필터 밴드를 적용하는 것.
• 표준 단계를 사용해 MFCC를 계산하는 것: 하밍 윈도우 적용, DFT 계산, 로그 에너지 계산, 역 DFT(cepstral 변환) 수행.
• 원본 음성과 하향샘플링된 음성의 MFCC 간 상관관계를 최대화하기 위해 필터 밴드 파라미터를 최적화하는 것.
• AN4 데이터베이스를 사용해 상관관계 지표(피어슨 상관계수)와 종단 간 음성 인식 성능을 모두 검증하는 것.

실험 결과

연구 질문

• RQ1 하향샘플링된 음성을 처리할 때 MFCC 상관관계를 더 잘 유지하기 위해 멜 필터 밴드를 어떻게 수정할 수 있는가?
• RQ2 원본 주파수에서 훈련된 HMM 모델을 하향샘플링된 음성에 적용할 때, 필터 밴드 설계가 인식 정확도에 어떤 영향을 미치는가?
• RQ3 수정된 필터 밴드로 하향샘플링된 음성에서 원본 음성 수준의 인식 성능를 달성할 수 있는가?
• RQ4 기존의 여섯 가지 하향샘플링된 MFCC 계산을 위한 필터 밴드 설계와 비교했을 때, 제안된 방법은 상관관계와 인식 정확도 측면에서 어떤가?

주요 결과

• 제안된 필터 밴드는 원본 음성과 하향샘플링된 음성의 MFCC 간 평균 피어슨 상관계수 0.986(사례 I)를 달성하여, 기존 최고 성능 방법(0.913)보다 뚜렷이 뛰어나다.
• 화상 단위 상관관계(사례 II)에서 제안된 방법은 평균 상관계수 0.961을 기록했으며, 기존 최고 성능 방법은 0.756에 그쳤다.
• 8 kHz 하향샘플링된 음성에서 제안된 필터 밴드를 사용한 단어 인식 정확도는 사례 A에서 37.00% 및 사례 B에서 77.62%였으며, 원본 16 kHz 음성의 정확도는 각각 43.21% 및 81.63%였다.
• 제안된 방법을 사용한 인식 성능는 기존 최고 성능 방법(사례 A에서 3.88%, 사례 B에서 11.90%)보다 뚜렷이 뛰어났다.
• 필터 밴드 출력의 시각적 분석 결과, 제안된 방법은 원본 멜 필터 밴드 응답을 잘 따라가며, 기존 방법은 눈에 띄는 이동이 있음을 확인했다.
• 향상된 성능는 하향샘플링 후에도 원본 음성의 스펙트럼 특성과 중심 주파수 및 대역폭이 잘 일치하도록 설계된 필터 밴드 덕분으로 기인한다.