[논문 리뷰] Phonemic and Graphemic Multilingual CTC Based Speech Recognition

Markus Müller, Sebastian Stüker외 1명|arXiv (Cornell University)|2017. 11. 13.

Speech Recognition and Synthesis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 영어, 프랑스어, 독일어, 터키어 4개 언어에서 공유된 음소 및 문자 단위를 사용하는 다국어 CTC 기반 음성 인식 시스템을 제안한다. 언어 특징 벡터(LFVs)를 도입하여 성능을 향상시켰으며, 다국어 블로킹 페러티드 특징과 LFVs를 활용해 다국어 시스템과 단일 언어 시스템 간의 오차 격차를 줄였다. 특히 독일어와 터키어에서 뚜렷한 TER 향상이 있었으며, 언어별 발음 사전이 필요 없이 효과적인 다국어 간 적응이 가능함을 보여주었다.

ABSTRACT

Training automatic speech recognition (ASR) systems requires large amounts of data in the target language in order to achieve good performance. Whereas large training corpora are readily available for languages like English, there exists a long tail of languages which do suffer from a lack of resources. One method to handle data sparsity is to use data from additional source languages and build a multilingual system. Recently, ASR systems based on recurrent neural networks (RNNs) trained with connectionist temporal classification (CTC) have gained substantial research interest. In this work, we extended our previous approach towards training CTC-based systems multilingually. Our systems feature a global phone set, based on the joint phone sets of each source language. We evaluated the use of different language combinations as well as the addition of Language Feature Vectors (LFVs). As contrastive experiment, we built systems based on graphemes as well. Systems having a multilingual phone set are known to suffer in performance compared to their monolingual counterparts. With our proposed approach, we could reduce the gap between these mono- and multilingual setups, using either graphemes or phonemes.

연구 동기 및 목표

• 다양한 고자원 언어의 데이터를 활용해 저자원 언어의 데이터 부족 문제를 해결하기 위해 단일 다국어 ASR 시스템을 훈련하는 것.
• 특히 저자원 환경에서 다국어와 단일 언어 음성 인식 시스템 간의 성능 격차를 줄이는 것.
• 언어별 발음 사전이 필요 없이 공유된 RNN/CTC 모델을 다국어에 적응시키는 데에 언어 특징 벡터(LFVs)의 효과를 평가하는 것.
• 다국어 CTC 프레임워크에서 음소 기반과 문자 기반 모델링 단위의 성능을 비교하는 것.
• 다국어 블로킹 페러티드 특징(ML-BNFs)이 다양한 언어에서 인식 정확도를 향상시키는지 조사하는 것.

제안 방법

• 모델은 영어, 프랑스어, 독일어, 터키어의 공동 음성 체계를 기반으로 유도된 공통 글로벌 음소 집합을 사용한다.
• 모든 4개 언어의 데이터를 기반으로 훈련된 다국어 블로킹 페러티드 특징(ML-BNFs)이 RNN/CTC 모델의 입력으로 사용되어 음성 표현 학습을 향상시킨다.
• TDNN/CNN 레이어 이후에 언어 특징 벡터(LFVs)를 도입하여 언어별 특성을 인코딩하고, 추론 시에 다양한 언어에 적응할 수 있도록 한다.
• 소형 배치 확률적 경사 하강법과 배치 정규화를 사용하여 연결주의 시간 분류(CTC)로 훈련하며, 첫 번째 에포크에서는 발화 길이 기준으로 정렬하여 훈련을 안정화시킨다.
• 문자 기반 시스템의 경우 발음 사전을 생략하고, RNN이 직접 문자-음소 매핑을 학습하도록 하며, 영어의 경우 문자 수준 언어 모델을 사용해 TER 및 WER를 평가한다.
• TER 평가에는 외부 언어 모델 없이 급진적 디코딩 전략을 사용하고, WER는 별도의 문자 기반 언어 모델을 사용해 계산한다.

실험 결과

연구 질문

• RQ1 공유된 글로벌 음소 집합을 사용하는 다국어 CTC 기반 ASR 시스템이 언어 적응 기법을 적용할 경우 단일 언어 시스템에 가까운 성능을 달성할 수 있는가?
• RQ2 언어 특징 벡터(LFVs)는 다양한 언어에서 다국어와 단일 언어 ASR 시스템 간의 성능 격차를 얼마나 효과적으로 줄이는가?
• RQ3 모델링 단위로 음소 대신 문자를 사용할 경우, 특히 저자원 환경에서 다국어 ASR 성능이 향상되는가?
• RQ4 표준 로그 멜 + 톤 특징 대비 다국어 블로킹 페러티드 특징(ML-BNFs)이 얼마나 인식 정확도를 향상시키는가?
• RQ5 LFVs의 추가로 다양한 철자 및 음운학적 복잡도를 가진 언어들 전반에서 일관된 성능 향상이 이루어지는가?

주요 결과

• 다국어 블로킹 페러티드 특징(ML-BNFs)의 사용으로 독일어의 TER가 2.8%p 감소(10.8% → 7.8%)하고 영어의 TER도 2.8%p 감소(13.0% → 10.2%)하여 다양한 언어에 걸쳐 일반화 능력이 입증되었다.
• 언어 특징 벡터(LFVs) 추가로 독일어의 TER는 1.0%p 감소(9.9% → 8.9%), 영어는 1.2%p 감소(14.1% → 12.9%), 프랑스어는 2.1%p 감소(12.8% → 10.7%)하여 언어 간 일관된 성능 향상이 나타났다.
• 문자 기반 시스템의 경우 LFVs로 독일어의 TER는 9.1% → 7.9%, 영어는 15.6% → 14.3%, 터키어는 7.9% → 7.3%로 감소하여 발음 사전 없이도 효과적인 적응이 가능함을 보여주었다.
• 영어의 단어 오류율(WER)은 다국어 시스템에서 30.8%에서 LFVs 적용 시 28.1%로 향상되어 TER 향상이 어휘 수준의 인식 성능 향상으로 이어짐을 확인하였다.
• 단일 언어 시스템은 독일어(7.8%), 영어(10.2%)에서 가장 낮은 TER를 기록했지만, LFVs를 적용한 다국어 시스템은 격차를 1.0–2.0%p 이내로 줄여 다국어 아키텍처의 뛰어난 성능을 입증하였다.
• 결과는 독일어와 터키어에서 문자 기반 시스템이 음소 기반 시스템보다 성능이 뛰어나며, 이는 RNN이 직접 복잡한 문자-소리 규칙을 학습할 수 있기 때문일 수 있고, 영어와 프랑스어는 명시적 발음 모델링의 이점이 더 크다는 것을 시사한다.