[논문 리뷰] THCHS-30 : A Free Chinese Speech Corpus

Dong Wang, Xuewei Zhang|arXiv (Cornell University)|2015. 12. 07.

Speech Recognition and Synthesis참고 문헌 12인용 수 190

한 줄 요약

이 논문은 음성 인식 연구의 진입 장벽을 낮추기 위해 설계된 무료 30시간 분량의 중국어 음성 코퍼스인 THCHS-30을 소개한다. 딥 네트워크 기반의 음성 인식 기준 성능을 제시하고, 깊이 있는 자동에코더(DAE)를 활용한 실시간 노이즈 제거 기법을 통해 노이즈에 강건한 성능을 입증한다. 이로 인해 노이즈가 있는 조건에서 단어 오류율이 크게 향상되었으며, 예를 들어 흰색 노이즈 조건에서 CER가 96.44%에서 75.01%로 감소하였다.

ABSTRACT

Speech data is crucially important for speech recognition research. There are quite some speech databases that can be purchased at prices that are reasonable for most research institutes. However, for young people who just start research activities or those who just gain initial interest in this direction, the cost for data is still an annoying barrier. We support the `free data' movement in speech recognition: research institutes (particularly supported by public funds) publish their data freely so that new researchers can obtain sufficient data to kick of their career. In this paper, we follow this trend and release a free Chinese speech database THCHS-30 that can be used to build a full- edged Chinese speech recognition system. We report the baseline system established with this database, including the performance under highly noisy conditions.

연구 동기 및 목표

• 상업용 음성 데이터베이스의 높은 비용이 초년 기간 연구자 및 개발도상국 연구자들의 진입을 어렵게 하는 문제를 해결하기 위해.
• 공개 가능한 고품질의 중국어 음성 코퍼스를 제공함으로써 '자유 데이터' 운동을 지원하기 위해.
• 연구자가 유료 자원 없이도 완전한 중국어 음성 인식 시스템을 처음부터 구축할 수 있도록 하기 위해.
• 향후 연구의 기준점이 될 수 있도록 청소된 음성과 노이즈가 있는 음성 조건에서의 기준 성능 지표를 제공하기 위해.
• 재학습 없이도 DAE 기반 노이즈 제거 기법이 음성 인식의 강건성 향상에 효과적임을 입증하기 위해.

제안 방법

• THCHS-30 코퍼스는 30명의 모국어가 중국어인 화자들이 각각 1,000개의 문장을 독파하여 수집되었으며, 다양한 음소 및 어휘 내용을 포함하여 음소 커버리지를 극대화하기 위해 설계되었다.
• 음성은 16 kHz에서 16비트 PCM로 기록되었으며, 번역은 수작업으로 검증되어 높은 정확도를 확보하였다.
• 표준 특징(Fbank), 특징 스플리팅, LDA, 전역 정규화를 사용하여 딥 네트워크 기반 음성 모델을 훈련시켰다.
• 깊이 있는 자동에코더(DAE)를 노이즈 제거기로 전처리 단계에 적용하였으며, 임의의 SNR 수준(0 dB 중심)으로 오염된 입력에서 청소된 Fbank 특징을 재구성하도록 훈련시켰다.
• DAE는 청소된 음성과 실제 노이즈 샘플(예: 자동차, 카페터리아, 흰색 노이즈)을 혼합하여 생성한 합성 노이즈 데이터를 기반으로 엔드 투 엔드로 훈련되었다.
• DAE의 출력 결과를 DNN 모델의 입력으로 사용하여, 표준 Fbank 특징 대신 파ip라인에 통합함으로써 재학습 없이도 실시간 노이즈 제거가 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 무료로 공개된 중국어 음성 코퍼스가 실용적인 종단 간 음성 인식 시스템 개발을 지원할 수 있는가?
• RQ2 DNN 기반 음성 인식 시스템은 THCHS-30 코퍼스에서 청소된 음성과 노이즈가 있는 조건에서 어떻게 성능을 발휘하는가?
• RQ3 재학습 없이도 DAE 기반 노이즈 제거 기법이 새로운 노이즈 유형에 대해 음성 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ4 코퍼스에 매우 이례적이거나 복잡한 문장이 포함되어 있을 경우 인식 성능에 심각한 영향을 미치는가? 이는 어떻게 완화될 수 있는가?
• RQ5 경량의 노이즈 특화 DAE가 실제 노이즈 환경에서 강건성을 향상시키는 데 효과적으로 활용될 수 있는가?

주요 결과

• THCHS-30 코퍼스는 완전한 음성 인식 시스템을 구축하는 데 적합한 무료로 이용 가능한 대용량 중국어 음성 데이터베이스로서, 30명의 화자로부터 수집된 30시간 분량의 음성 데이터를 포함한다.
• 청결한 음성 조건에서 DNN 기준 성능은 단어 오류율(CER) 30.11%와 음소 오류율(PER) 14.81%를 기록하여 강력한 기준 성능을 보였다.
• 극도로 오염된 흰색 노이즈(0 dB SNR) 조건에서 노이즈 제거 없이 CER는 96.44%에 도달하여 시스템의 노이즈에 대한 취약성을 드러냈다.
• DAE 기반 노이즈 제거를 적용한 후, 흰색 노이즈 조건에서 CER는 75.01%로 감소하였고, 자동차 노이즈 조건에서는 32.13%로 향상되어 강건성 향상 효과가 뚜렷하게 나타났다.
• DAE 기법은 최소한의 계산 오버헤드로 노이즈 오염을 효과적으로 감소시켰고, 주요 DNN 모델의 재학습이 필요 없었다.
• 청결한 음성에서의 성능 저하 원인은 코퍼스의 높은 음소 다양성과 이질적인 문장 구조로 인해 표준 음성 모델이 도전받는 데 기인한다.