[논문 리뷰] Contaminated speech training methods for robust DNN-HMM distant speech recognition

Mirco Ravanelli, Maurizio Omologo|arXiv (Cornell University)|2017. 10. 10.

Speech Recognition and Synthesis인용 수 6

한 줄 요약

이 논문은 오염된 음성으로 인한 원거리 음성 인식을 위한 DNN-HMM 음성 모델링을 향상시키기 위해 비대칭적 컨텍스트 윈도우링, 코스톡-베이스드 감독, 코스톡-베이스드 사전학습이라는 세 가지 새로운 방법을 제안한다. 이 기법들은 시뮬레이션된 데이터와 실제 데이터 모두에서 기준 시스템 대비 단어 오류율을 15퍼센트 이상 감소시켜 반향성과 노이즈가 있는 환경에서 뚜렷한 강건성 향상을 보여준다.

ABSTRACT

Despite the significant progress made in the last years, state-of-the-art speech recognition technologies provide a satisfactory performance only in the close-talking condition. Robustness of distant speech recognition in adverse acoustic conditions, on the other hand, remains a crucial open issue for future applications of human-machine interaction. To this end, several advances in speech enhancement, acoustic scene analysis as well as acoustic modeling, have recently contributed to improve the state-of-the-art in the field. One of the most effective approaches to derive a robust acoustic modeling is based on using contaminated speech, which proved helpful in reducing the acoustic mismatch between training and testing conditions. In this paper, we revise this classical approach in the context of modern DNN-HMM systems, and propose the adoption of three methods, namely, asymmetric context windowing, close-talk based supervision, and close-talk based pre-training. The experimental results, obtained using both real and simulated data, show a significant advantage in using these three methods, overall providing a 15% error rate reduction compared to the baseline systems. The same trend in performance is confirmed either using a high-quality training set of small size, and a large one.

연구 동기 및 목표

• 반향성과 배경 노이즈와 같은 악성 음성 조건 하에서 원거리 음성 인식의 강건성을 확보하는 데 지속적인 과제를 해결하기 위해.
• 원거리 말하기 학습에서의 감독 및 초기화 향상을 위해 고품질의 코스톡-말하기 데이터를 활용하여 DNN-HMM 음성 모델링을 향상시키기 위해.
• 현대 DNN-HMM 시스템에서 오염된 음성 학습의 효과성을 조사하며, 특히 최적화된 컨텍스트 처리 및 사전학습 전략을 중심으로 한다.
• 제안된 방법들을 시뮬레이션된 데이터와 실제 원거리 음성 데이터 모두에 대해 검증하여, 특히 도전적인 실제 반향성 및 노이즈 환경을 포함한 조건에서의 성능을 평가하기 위해.

제안 방법

• 반향성의 영향을 줄이기 위해 미래 프레임 쪽으로 시간적 초점을 이동시키는 비대칭 컨텍스트 윈도우(ACW)를 도입한다.
• 원거리 말하기 DNN 학습을 위한 감독을 향상시키기 위해 코스톡-말하기 데이터에서 고정밀 강제 정렬 레이블을 유산으로 이어받는다.
• 표준 비감독 RBM 사전학습을 코스톡-말하기 데이터를 사용한 감독 사전학습으로 대체하여 원거리 말하기 DNN의 더 스마트한 초기화를 가능하게 한다.
• 두 단계 학습 프로세스를 적용한다: 먼저 코스톡-말하기 데이터로 DNN를 사전학습하고, 그 후에 학습률을 낮춘 상태에서 오염된 원거리 말하기 데이터로 미세조정한다.
• 시스템 구현을 위해 Kaldi ASR 툴킷을 사용하고, 음성 모델링 효과를 분리하기 위해 전화 루프 작업에서 성능을 평가한다.
• 실제 원거리 말하기 조건을 시뮬레이션하기 위해 측정된 인파르스 응답과 노이즈를 제어된 신호대노이즈비(SNR)로 곱하기 및 더하기 방식을 통해 음성 오염을 적용한다.

실험 결과

연구 질문

• RQ1 비대칭 컨텍스트 윈도우는 반향성 영향을 더 잘 다루어 DNN-HMM의 원거리 음성 인식 성능을 향상시킬 수 있는가?
• RQ2 코스톡-말하기 데이터에서 유래한 고품질 레이블을 유산으로 이어가면 원거리 말하기 DNN 학습에서 수렴 속도가 빨라지고 성능이 향상되는가?
• RQ3 코스톡-말하기 데이터를 사용한 감독 사전학습은 원거리 말하기 음성 모델링에서 표준 비감독 RBM 사전학습을 능가하는가?
• RQ4 제안된 방법들은 다양한 학습 데이터 크기와 실제 음성 환경 조건에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 코스톡-베이스드 감독(CT-lab)은 APASCI 데이터셋에서 기준 학습 대비 10퍼센트, Euronews 데이터셋에서 12퍼센트의 단어 오류율 감소를 달성했다.
• CT-lab 방법은 학습 수렴 속도를 향상시켜 에포크 수를 15에서 12로 줄여 학습 시간을 20퍼센트 감소시켰다.
• 감독 사전학습(CT-PT)은 일관된 향상을 이끌어내어 APASCI 데이터셋에서 Sim-Rev에서는 1.6퍼센트, Real-Rev에서는 1.2퍼센트, Sim-Rev&Noise에서는 1.1퍼센트의 오류율 감소를 기록했다.
• ACW, CT-lab, CT-PT 방법의 조합은 모든 테스트 조건에서 기준 시스템 대비 상대 오류율 감소율이 15퍼센트를 초과했다.
• 작은(6시간) 및 큰(100시간) 학습 세트 모두에서 성능 향상이 관찰되어, 이 방법의 확장성과 강건성을 확인했다.
• 시뮬레이션된 데이터와 실제 데이터 모두에서 일관된 결과를 보여, 이 방법이 실제 음성 환경에서의 실용적 적용 가능성을 검증했다.