[논문 리뷰] Robust coherence-based spectral enhancement for distant speech recognition

Hendrik Barfuss, Christian Huemmer외 2명|arXiv (Cornell University)|2015. 09. 23.

Speech and Audio Processing참고 문헌 13인용 수 6

한 줄 요약

이 논문은 실질적인 CHiME-3 데이터의 개발 및 평가 세트에서 각각 2.73 및 5.2个百分点 감소시키는 저비용 복잡도를 가진 실시간 구현이 가능한 저비용 복잡도의 일관성 기반 위너 후처리기 기반으로, 최소 분산 비왜곡 응답(MVDR) beamformer의 출력에서 직접 음성 신호 대 산산각 신호 파wer 비율을 추정하여, 시간 및 주파수에 따라 변화하는 신호 대 잡음비(SNR) 근사치로 사용함으로써, 소음 환경에서의 원거리 음성 인식 성능을 향상시키는 방법을 제안한다. 방향 도착 정보(Directional-of-Arrival, DoA)가 필요 없으며, 낮은 계산 복잡도를 유지한다.

ABSTRACT

In this contribution to the 3rd CHiME Speech Separation and Recognition Challenge (CHiME-3) we extend the acoustic front-end of the CHiME-3 baseline speech recognition system by a coherence-based Wiener filter which is applied to the output signal of the baseline beamformer. To compute the time- and frequency-dependent postfilter gains the ratio between direct and diffuse signal components at the output of the baseline beamformer is estimated and used as approximation of the short-time signal-to-noise ratio. The proposed spectral enhancement technique is evaluated with respect to word error rates of the CHiME-3 challenge baseline speech recognition system using real speech recorded in public environments. Results confirm the effectiveness of the coherence-based postfilter when integrated into the front-end signal enhancement.

연구 동기 및 목표

• 반향과 배경 잡음으로 인해 정확도가 저하되는 실제의 소음 환경에서 자동 음성 인식(ASR) 성능을 향상시키기 위해.
• 특히 원거리 발화 상황에서 산산각 잡음을 억제하고 반향을 감소시키는 데에 한계가 있는 기본 MVDR beamformer의 문제점을 해결하기 위해.
• 기존의 beamforming 기반 기술을 보완하기 위해 계산 비용이 낮고, 방향 도착 정보(DoA)에 의존하지 않는 프론트엔드 향상 기법을 개발하기 위해.
• CHiME-3 기준 ASR 시스템에 후처리기를 통합하여 실제 및 시뮬레이션 데이터 기반의 내성 테스트를 수행하기 위해.
• 실제 실생활 환경에서 스펙트럼 향상에 있어 일관성 대 산산각 파wer 비율(Coherence-to-Diffuse Power Ratio, CDR) 추정의 실용성과 효과를 입증하기 위해.

제안 방법

• 기본 MVDR beamformer의 출력에 일관성 기반 위너 후처리기를 적용하여 산산각 잡음과 반향을 억제하기 위해.
• 자기 및 교차 파wer 스펙트럼을 사용하여 beamformer 출력에서 직접 대 산산각 신호 파워 비율을 추정하여, 시간 및 주파수에 따라 변화하는 SNR 근사치로 활용하기 위해.
• 추정된 CDR 비율을 사용하여 단기 푸리에 변환(STFT) 도메인에서 후처리기 가중치를 계산함으로써 스펙트럼 향상 기능을 구현하기 위해.
• 추가적인 공간 캘리브레이션 없이도 구현 가능한 저비용 복잡도의 DoA에 의존하지 않는 필터로 후처리기를 구현하기 위해.
• 향상된 신호를 CHiME-3 기준 ASR 파이프라인에 통합하여, HMM-GMM 및 HMM-DNN 음성 모델을 모두 사용하여 평가하기 위해.
• 후처리기 가중치 계산을 안내하기 위해 beamformer 출력의 산산각도 측정치 $ D_{\text{BF}}(l,f) $ 를 사용하여 CDR를 추정하기 위해.

실험 결과

연구 질문

• RQ1 실제 소음 환경에서 원거리 음성 인식 상황에서 일관성 기반 후처리기가 단어 오류율(WER)을 향상시킬 수 있는가?
• RQ2 제안된 후처리기의 성능은 실제 데이터와 시뮬레이션 데이터 간에 어떻게 비교되는가?
• RQ3 DoA에 의존하지 않는 CDR 추정 방식이 실생활 환경에서 스펙트럼 향상에 충분한 강건성과 정확도를 제공하는가?
• RQ4 제안된 후처리기가 HMM-GMM 및 HMM-DNN 음성 모델 모두와 통합되었을 때 효과적인가?
• RQ5 후처리기의 저비용 복잡도 설계는 자원 제약이 있는 시스템에서 실시간 구현이 가능한가?

주요 결과

• 제안된 일관성 기반 후처리기는 실제 CHiME-3 데이터를 사용하여 개발 세트에서 2.73个百分点, 평가 세트에서 5.2个百分点의 단어 오류율 감소를 기록하였다.
• HMM-GMM 및 HMM-DNN ASR 시스템 모두에서 일관된 성능 향상이 관찰되었으며, 실제 데이터의 개발 세트에서는 HMM-DNN 시스템이 HMM-GMM 시스템보다 더 우수한 성능를 보였다.
• 시뮬레이션 데이터의 경우 후처리기가 오히려 더 높은 WER를 유발한 것으로 보이며, 이는 후처리기 파rameter의 최적화 부족 또는 신호 특성의 불일치로 인한 것으로 추정된다.
• 시뮬레이션 평가 데이터에서는 HMM-GMM 시스템이 HMM-DNN 시스템보다 성능이 뛰어나, 본 연구에서 최적화되지 않은 DNN 아키텍처의 잠재적 한계를 시사한다.
• 실제 데이터에서 기준 MVDR beamformer만을 사용한 경우에 비해 후처리기가 유의미하게 뛰어난 성능를 보였으며, 이는 음성 인식의 강건성 향상에 효과적임을 확인한다.
• 낮은 계산 복잡도와 DoA 독립성 덕분에, 실생활 원거리 발화 응용 분야에서 실시간 구현이 가능한 것으로 확인되었다.