[논문 리뷰] Semi-supervised Development of ASR Systems for Multilingual Code-switched Speech in Under-resourced Languages

Astik Biswas, Emre Yılmaz외 3명|arXiv (Cornell University)|2020. 03. 06.

Speech Recognition and Synthesis참고 문헌 24인용 수 8

한 줄 요약

이 논문은 5개의 남아프리카 언어에서 자원이 부족한 다국어 혼합 음성에 대해 자동 음성 인식(ASR) 성능을 향상시키기 위해 배치 기반의 준지도 학습 방식을 제안한다. 수동으로 분할된 TV 드라마 음성 데이터를 활용하고, 双어 및 5어어 ASR 시스템을 통해 가짜 레이블을 생성함으로써 단어 오류율(WER)을 크게 감소시켰다. 배치 기반 학습은 비배치 기반 학습보다 우수했으며, 특히 이중어 ASR 시스템이 다국어 시스템에서 생성한 가짜 레이블을 보다 효과적으로 활용했다.

ABSTRACT

This paper reports on the semi-supervised development of acoustic and language models for under-resourced, code-switched speech in five South African languages. Two approaches are considered. The first constructs four separate bilingual automatic speech recognisers (ASRs) corresponding to four different language pairs between which speakers switch frequently. The second uses a single, unified, five-lingual ASR system that represents all the languages (English, isiZulu, isiXhosa, Setswana and Sesotho). We evaluate the effectiveness of these two approaches when used to add additional data to our extremely sparse training sets. Results indicate that batch-wise semi-supervised training yields better results than a non-batch-wise approach. Furthermore, while the separate bilingual systems achieved better recognition performance than the unified system, they benefited more from pseudo-labels generated by the five-lingual system than from those generated by the bilingual systems.

연구 동기 및 목표

• 제한된 타이핑된 데이터를 가진 자원이 부족한 다국어 혼합 음성에 대해 남아프리카 언어에서 ASR 성능을 향상시키기 위해.
• 남아프리카 드라마에서 수집한 타이핑되지 않은 수동 분할 음성 데이터를 활용한 준지도 학습의 효과를 평가하기 위해.
• 가짜 레이블 생성을 위한 두 가지 접근 방식을 비교하기 위해: 4개의 별도 이중어 ASR 대비 하나의 통합 5어어 ASR 시스템.
• 배치 기반 학습과 단일 패assing 학습 간의 ASR 성능에 미치는 영향을 조사하기 위해.
• 인위적으로 생성한 혼합 언어 텍스트와 합성 트리그램이 언어 모델 향상에 기여하는지 평가하기 위해.

제안 방법

• 53시간의 타이핑되지 않은 수동 분할 혼합 언어 음성 데이터를 대상으로 단일 패assing 및 배치 기반 준지도 학습 두 가지 학습 구성 방식을 사용하였다.
• 영어-지줄루, 영어-시호사, 영어-세트와나, 영어-세소토 등 4개의 이중어 ASR 시스템과 모든 5개 언어를 포함하는 5어어 ASR 시스템을 활용해 가짜 레이블을 생성하였다.
• 가짜 레이블을 활용해 음성 모델과 언어 모델을 재학습하였으며, 배치 기반 재학습이 수렴 속도와 성능 향상에 유리함을 확인하였다.
• 실제 타이핑된 문장 외에도 인위적으로 생성한 혼합 언어 텍스트와 합성 트리그램을 활용해 언어 모델을 구축하여 퍼플렉서티를 감소시켰다.
• 개발 및 테스트 세트에서 단어 오류율(WER)과 혼합 언어 바이그램 정확도(CSBA)를 사용해 성능을 평가하였다.
• 남아프리카 드라마에서 수집한 21시간의 태깅된 혼합 언어 음성 다국어 코퍼스를 학습 및 평가의 기초로 사용하였다.

실험 결과

연구 질문

• RQ1 자원이 부족한 혼합 언어 음성에 대해 배치 기반 준지도 학습이 비배치 기반 학습보다 더 우수한 ASR 성능을 제공하는가?
• RQ2 개별 이중어 ASR 시스템과 통합 5어어 ASR 시스템 간의 인식 정확도와 자료 부족에 대한 강건성은 어떻게 비교되는가?
• RQ3 5어어 시스템이 생성한 가짜 레이블이 이중어 시스템의 성능 향상에 기여하는 정도는 어느 정도이며, 이중어 시스템이 생성한 가짜 레이블보다 유의미한가?
• RQ4 인위적으로 생성한 혼합 언어 텍스트와 합성 트리그램이 언어 모델의 퍼플렉서티 감소와 WER 향상에 유의미한 기여를 하는가?
• RQ5 다국어 ASR 시스템에서 영어에 대한 언어적 편향이 무엇인지, 특히 반불라어 언어 인식 성능에 어떤 영향을 미치는가?

주요 결과

• 배치 기반 준지도 학습은 이중어 및 5어어 ASR 시스템 모두에서 단일 패assing 학습보다 더 효과적으로 단어 오류율(WER)을 감소시켰다.
• 이중어 ASR 시스템은 전체적으로 더 낮은 WER(테스트 세트 기준 30.3%)를 기록했으며, 이는 반불라어 언어에서 더 뛰어난 성능을 의미한다.
• 더 높은 복잡도에도 불구하고 5어어 시스템은 테스트 세트에서 WER 31.3%를 기록하여 내재된 언어 모호성에도 불구하고 강력한 성능을 보였다.
• 5어어 시스템은 영어에 강한 편향을 보였으며, 영어의 WER는 28.2%로 매우 낮았지만 반불라어 언어(예: 지줄루 52.7%)에서는 상대적으로 높았다. 반면 이중어 시스템은 더 균형 잡힌 성능을 보였다.
• 인위적으로 생성한 텍스트와 합성 트리그램을 활용한 언어 모델 학습은 WER를 1.2%p 감소시켰다(31.3% → 30.1%)하고, 혼합 언어 바이그램 정확도를 7.4%p 향상시켰다(42.3% → 49.7%).
• 이중어 시스템은 5어어 시스템이 생성한 가짜 레이블을 자신의 것보다 더 효과적으로 활용했으며, 이는 5어어 시스템이 자원이 적은 언어 쌍에 대해 더 고품질의 타이핑을 제공한다는 것을 시사한다.