[논문 리뷰] On the End-to-End Solution to Mandarin-English Code-switching Speech Recognition

Zhiping Zeng, Yerbolat Khassanov외 4명|arXiv (Cornell University)|2018. 11. 01.

Speech Recognition and Synthesis참고 문헌 25인용 수 13

한 줄 요약

이 논문은 데이터 증강, 바이트-페어 인코딩(BPE) 서브워드 유닛, 언어 식별(LID)을 통한 다중임무 학습, 신경 언어 모델(NLM) 어휘 확장 방법을 활용하여 중국어-영어 혼합어 말하기 인식을 위한 엔드 투 엔드(E2E) 음성 인식 시스템을 제안한다. 이 방법은 개발 세트에서 단어 오류률(WER)을 9.5个百分点 감소시켜 SEAME 코퍼스에서 거의 최첨단 성능을 달성한다.

ABSTRACT

Code-switching (CS) refers to a linguistic phenomenon where a speaker uses different languages in an utterance or between alternating utterances. In this work, we study end-to-end (E2E) approaches to the Mandarin-English code-switching speech recognition (CSSR) task. We first examine the effectiveness of using data augmentation and byte-pair encoding (BPE) subword units. More importantly, we propose a multitask learning recipe, where a language identification task is explicitly learned in addition to the E2E speech recognition task. Furthermore, we introduce an efficient word vocabulary expansion method for language modeling to alleviate data sparsity issues under the code-switching scenario. Experimental results on the SEAME data, a Mandarin-English CS corpus, demonstrate the effectiveness of the proposed methods.

연구 동기 및 목표

• 기존의 DNN-HMM 프레임워크의 한계를 피하면서도 경쟁력 있는 엔드 투 엔드(E2E) 음성 인식 시스템을 개발하기 위해.
• 혼합어에서의 데이터 희소성과 언어 불균형 문제를 해결하기 위해 서브워드 유닛 표현과 언어 모델링을 향상시키기 위해.
• 보조 작업으로 언어 식별(LID)을 통한 다중임무 학습을 통해 E2E 모델 성능을 향상시키기 위해.
• 신경 언어 모델(NLM)을 위한 새로운 어휘 확장 방법을 통해 언어 간 데이터 희소성을 완화하기 위해.

제안 방법

• 학습 데이터를 3배로 늘리기 위해 음성 속도 왜곡을 적용하여 데이터 증강을 수행하며, 속도 변형(90%, 100%, 110%)을 사용한다.
• 중국어와 영어 간 균형 잡힌 표현을 위해 3,000개의 서브워드 유닛을 사용하는 바이트-페어 인코딩(BPE)을 적용하며, 문자 수준의 유닛보다 우수한 성능을 기록한다.
• E2E 음성 인식 모델과 언어 식별(LID) 헤드를 함께 학습시켜 다중임무 학습을 도입하며, 초모수 λ₂를 사용한 가중 손실 함수를 적용한다.
• LID 학습의 두 가지 변형(공유 및 독립 헤드)을 모두 E2E 학습 과정에 통합한다.
• 신경 언어 모델(NLM) 어휘 확장 기법을 제안하여 n-gram 재평가를 향상시키고, 드문 혼합어 조합의 커버리지 향상을 도모한다.
• 확장된 NLM를 사용해 N-best 재평가를 수행하여 ASR 추론 결과의 오류율을 감소시킨다.

실험 결과

연구 질문

• RQ1 사전 자료나 언어 특화 모델링 없이도 엔드 투 엔드 음성 인식 모델이 중국어-영어 혼합어를 효과적으로 처리할 수 있는가?
• RQ2 데이터 증강과 서브워드 유닛 선택(BPE 대 문자)이 E2E 혼합어 음성 인식 성능에 어떤 영향을 미치는가?
• RQ3 언어 식별(LID)을 보조 작업으로 사용한 다중임무 학습이 E2E 혼합어 음성 인식의 강건성과 정확도를 어느 정도 향상시키는가?
• RQ4 신경 언어 모델(NLM)을 위한 어휘 확장 방법이 언어 간 혼합어 상황에서의 데이터 희소성을 효과적으로 줄일 수 있는가?
• RQ5 모든 제안된 기법의 병합 효과가 혼합어 음성 인식에서 단어 오류률(WER) 감소에 어떤 영향을 미치는가?

주요 결과

• 데이터 증강은 E2E 음성 인식 성능을 크게 향상시키며, 문자 수준 출력보다 BPE 서브워드 유닛(3,000개)이 더 우수한 성능을 기록한다.
• LID 기반 다중임무 학습 접근법은 개발 세트 man에서 토큰 오류률(TEM)을 최대 0.9个百分点 감소시키며, dev sge에서는 1.0个百分点 감소시킨다. 최적의 λ₂ ≈ 0.2에서 성능이 최고로 나타난다.
• 제안된 NLM 어휘 확장 방법은 dev man에서 TER를 35.8%에서 25.0%로 감소시키며, dev sge에서는 46.5%에서 34.5%로 감소시켜 거의 최첨단 성능을 달성한다.
• 언어 간 교체 오류는 상대적으로 낮은 편(~전체 오류의 10%)이며, 영어 단어가 중국어 문자로 대체되는 경우(S_E→M ≈ 8%)가 중국어 단어가 영어로 대체되는 경우(S_M→E ≈ 3%)보다 더 높은 편이다.
• 가장 우수한 성능을 보인 시스템(E2E-DA-BPE3k + LID_indep + NLM 확장)은 dev man에서 TER 25.0%를 기록했으며, dev sge에서는 34.5%를 기록하여 베이스라인 E2E-DA-CHAR보다 각각 9.5 및 12.0个百分点 우수하다.
• 이 방법은 문자 기반 시스템에 적용했을 때 가장 효과적이며, LID가 문자 수준 모델링에서 발생하는 불균형을 완화하는 데 기여함을 시사한다.