[논문 리뷰] Design and Optimization of a Speech Recognition Front-End for Distant-Talking Control of a Music Playback Device

Ramin Pichevar, Jason Wung외 2명|arXiv (Cornell University)|2014. 05. 05.

Speech and Audio Processing참고 문헌 37인용 수 3

한 줄 요약

이 논문은 고음질 음악 재생 수준과 낮은 음성 대 반사비를 가진 휴대용 음악 기기에서 원거리 음성 제어를 위한 강건한 단일 마이크로폰 음성 인식 프론트엔드를 제안한다. 이는 연결된 에코 캔슬러, 더블토크 감지, 그리고 노이즈 제거를 위한 새로운 적응형 준이진 마스크를 조합한다. 유전 알고리즘을 통해 음성 인식 정확도를 최대화하도록 최적화된 시스템은 음성 대 음악 비율이 -35 dB에 이르는 조건에서도 90% 이상의 명령 인식률을 달성하여, 매우 열악한 음향 환경에서도 신뢰할 수 있는 음성 제어를 가능하게 한다.

ABSTRACT

This paper addresses the challenging scenario for the distant-talking control of a music playback device, a common portable speaker with four small loudspeakers in close proximity to one microphone. The user controls the device through voice, where the speech-to-music ratio can be as low as -30 dB during music playback. We propose a speech enhancement front-end that relies on known robust methods for echo cancellation, double-talk detection, and noise suppression, as well as a novel adaptive quasi-binary mask that is well suited for speech recognition. The optimization of the system is then formulated as a large scale nonlinear programming problem where the recognition rate is maximized and the optimal values for the system parameters are found through a genetic algorithm. We validate our methodology by testing over the TIMIT database for different music playback levels and noise types. Finally, we show that the proposed front-end allows a natural interaction with the device for limited-vocabulary voice commands.

연구 동기 및 목표

• 높은 음악 재생 수준과 낮은 음성 대 반사비를 가진 휴대용 음악 기기에서 원거리 음성 제어의 과제를 해결하기 위해.
• 음악 재생과 배경 잡음이 동반된 극도로 열악한 음향 환경에서도 신뢰할 수 있는 음성 인식을 가능하게 하는 단일 마이크로폰 프론트엔드를 설계하기 위해.
• 비선형 프로그래밍 접근법을 사용하여 자동 음성 인식(ASR) 성능을 최대화할 수 있도록 시스템 파라미터를 최적화하기 위해.
• 실세계 기록 자료를 활용하여 다양한 음성 대 음악 비율에서 자연스러운 음성 명령을 사용해 시스템을 검증하기 위해.
• 낮은 신호 대 잡음비 조건에서 실시간으로 구현 가능한 제한된 어휘의 음성 제어가 실용적이고 실시간 환경에서 가능한지를 입증하기 위해.

제안 방법

• 프론트엔드는 강력한 음성 반사 캔슬러(RAEC) 두 개를 다중 지연 적응 필터링을 통해 연결하여 스피커에서 발생하는 에코를 억제한다.
• 이중 대화 확률(DTP) 추정기와 공명 기반 잔류 에코 전력 추정기를 사용하여 잔류 에코를 감지하고 억제한다.
• 최소 평균 제곱 오차(MMSE) 추정과 이상 이진 마스크(IBM) 근사화를 조합한 새로운 적응형 준이진 마스크를 통해 저 SNR 조건에서 노이즈 억제 성능을 향상시킨다.
• 사전 및 사후 SNR 기반 에너지 임계치를 사용하는 음성 활동 검출기(VAD)를 통합하여 음성 프레임을 분리한다.
• 파라미터 조정은 대규모 비선형 프로그래밍 문제로 공식화되며, TIMIT 데이터베이스에서 ASR 정확도를 최대화하기 위해 유전 알고리즘(GA)을 사용해 해결한다.
• 학습 데이터는 깨끗한 TIMIT 음성에 실내 인력 응답을 컨볼루션하고, 다양한 수준의 음악, 번잡한 배경음 또는 공장 잡음과 혼합하여 합성된다.

실험 결과

연구 질문

• RQ1 고음악 재생 수준과 낮은 음성 대 반사비를 가진 휴대용 음악 기기에서 단일 마이크로폰 프론트엔드가 강건한 음성 인식을 달성할 수 있는가?
• RQ2 이중 대화 감지와 잔류 에코 억제 기능을 갖춘 연결된 RAEC는 실시간 재생 조건에서 에코와 노이즈를 얼마나 효과적으로 줄일 수 있는가?
• RQ3 MMSE 기반 향상과 적응형 준이진 마스크를 조합할 경우, 기존 방법에 비해 매우 낮은 SNR 조건에서 인식 성능이 향상되는가?
• RQ4 유전 알고리즘 기반의 프론트엔드 파라미터 최적화가 품질 기반 최적화(POLQA 등)에 비해 ASR 정확도를 크게 향상시킬 수 있는가?
• RQ5 음성 대 음악 비율이 -35 dB에 이르는 실세계 조건에서 제한된 어휘의 음성 명령에 대해 달성 가능한 인식률은 얼마인가?

주요 결과

• 제안된 프론트엔드는 번잡한 배경음 조건에서 노이즈가 있는 TIMIT 데이터베이스에서 37.4%의 문자 정확도(bigram 기준)를 달성하여 기준 방법에 비해 뚜렷한 승리를 거두었다.
• 실세계 테스트에서 음성 대 음악 비율이 -25에서 -20 dB일 경우 'PLAY'와 'NEXT' 명령에 대해 각각 90%의 인식률을 기록했으며, -30에서 -25 dB일 경우 'PLAY'에 대해 80%의 인식률을 달성했다.
• -35에서 -30 dB의 최저 SER 조건에서 'BACK'에 대해 73%, 'PAUSE'에 대해 76%의 인식률을 기록했으며, 강화 없이 적용된 기준 방법의 25%에 비해 뛰어난 성능을 보였다.
• ASR 최적화 파라미터는 모든 SER 수준에서 POLQA 최적화 파라미터를 능가했으며, 이는 인식 작업에 있어 ASR 중심 최적화가 품질 중심 최적화보다 더 효과적임을 시사한다.
• 스펙트로그램을 통해 처리된 신호가 초기에는 청취자가 듣기 어려웠지만, 인간 청취자에게는 명확히 인식 가능한 음성의 구조와 이해 가능성 유지가 확인되었다.
• 실제 실험에서 추정된 음성 대 반사비(SER)는 -35에서 -20 dB 범위였으며, 이는 시뮬레이션 기반 최적화 방법론이 실세계 조건으로 일반화되었음을 검증한다.