[논문 리뷰] Automatic Speech Recognition and Topic Identification for Almost-Zero-Resource Languages

Matthew Wiesner, Chunxi Liu외 7명|arXiv (Cornell University)|2018. 02. 23.

Speech Recognition and Synthesis참고 문헌 23인용 수 6

한 줄 요약

이 논문은 거의 자원이 없는 언어를 위한 저자원 음성 인식 및 주제 분류 시스템을 제안한다. 보편적인 음소 모델과 전이 학습을 활용하여, 단 15~30분의 음성 데이터를 사용해 보편적인 음성 인식 시스템을 적응시키고, 영어 주제 분류기의 미세조정을 통해 현지어로 약간의 자료를 확보한 경우 주제 식별 성능을 크게 향상시킨다. 이 방법은 NIST LoReHLT 2017 평가에서 경쟁 기법들을 능가하며, 특히 Tigrinya (IL5)에서 SF-Type 분류에서 F1 점수가 54%에 도달했다.

ABSTRACT

Automatic speech recognition (ASR) systems often need to be developed for extremely low-resource languages to serve end-uses such as audio content categorization and search. While universal phone recognition is natural to consider when no transcribed speech is available to train an ASR system in a language, adapting universal phone models using very small amounts (minutes rather than hours) of transcribed speech also needs to be studied, particularly with state-of-the-art DNN-based acoustic models. The DARPA LORELEI program provides a framework for such very-low-resource ASR studies, and provides an extrinsic metric for evaluating ASR performance in a humanitarian assistance, disaster relief setting. This paper presents our Kaldi-based systems for the program, which employ a universal phone modeling approach to ASR, and describes recipes for very rapid adaptation of this universal ASR system. The results we obtain significantly outperform results obtained by many competing approaches on the NIST LoReHLT 2017 Evaluation datasets.

연구 동기 및 목표

• 최소한의 음성 데이터(예: 수분 분량)로도 초저자원 언어를 위한 자동 음성 인식(ASR) 시스템을 개발하는 것.
• 높은 자원 언어에서 전이 학습을 통해 저자원 환경에서 정확한 주제 식별(SF-Type 탐지)을 가능하게 하는 것.
• 현지 정보 제공자로부터의 소규모 인간 중심의 애너테이션(Annotation)이 ASR 및 주제 분류기 성능 향상에 얼마나 기여하는지 평가하는 것.
• 다국어 데이터 기반의 언어에 관계없는 주제 분류기 모델이 최소한의 대상 언어 애너테이션을 결합할 경우, 언어에 특화된 모델보다 더 뛰어난 성능을 낼 수 있음을 보여주는 것.
• 인간 구호나 재난 대응과 같은 급격한 위기 상황에서 음성 기술을 신속하게 구현할 수 있는 프레임워크를 구축하는 것.

제안 방법

• 목표 언어에서 음성 데이터 없이도 다국어 음성 모델링이 가능한 보편적인 음소 모델 기반의 Kaldi 기반 ASR 시스템을 사용한다.
• 현지 정보 제공자(NI)로부터 수집한 단 15~30분의 음성 데이터를 활용해 보편적인 ASR 모델을 적응시켜, ASR 단어 오류율(WER)을 크게 향상시킨다.
• 다국어 데이터 기반으로 훈련된 영어 주제 분류기(SF-Type)를 사용하며, 이를 소량의 대상 언어(IL) 주제 레이블을 통해 적응시킨다.
• IL에서 영어로의 기계 번역(MT)을 활용해 주제 분류기의 합성 훈련 데이터를 생성하지만, 충분한 IL 전용 레이블이 확보된 경우 MT 없이도 성능이 유사함을 입증한다.
• 웹 기반 애너테이션 인터페이스를 사용해 NIs로부터 음성 전사 및 SF-Type 레이블을 효율적으로 수집함으로써 애너테이션 시간을 최소화하고 데이터 활용도를 극대화한다.
• 청각 단위 탐지(AUD), 무 supervision 단어 탐지(UTD), 단어 수준 토큰화를 기반으로 언어에 관계없는 분류기를 훈련시켜 다양한 자연어 처리(NLP) 표현 방식에서의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 보편적인 음소 모델 기반 ASR 시스템이 단 15~30분의 음성 데이터로도 저자원 언어에 효과적으로 적응할 수 있는가?
• RQ2 현지어로 약간의 주제 레이블을 사용해 미세조정된 다국어 영어 주제 분류기의 성능은 얼마나 뛰어나게 되는가?
• RQ3 IL 전용 SF-Type 레이블의 포함 여부가 다국어 전이 학습에 비해 주제 분류 성능 향상에 얼마나 기여하는가?
• RQ4 IL에서 영어로의 기계 번역 품질이 저자원 환경에서 주제 분류 성능에 얼마나 큰 영향을 미치는가?
• RQ5 ASR나 MT에 의존하지 않고도 최소한의 인간 애너테이션 레이블만으로도 높은 주제 분류 성능을 달성할 수 있는가?

주요 결과

• 적응된 보편적인 음소 모델 기반 ASR 시스템은 단 15~30분의 음성 데이터로도 관련 언어의 ASR 시스템과 유사한 WER를 달성했다.
• Tigrinya (IL5)에서 시스템은 기준 모델 대비 SF-Type F1 점수에서 59%의 상대적 향상과 관련성 점수에서 23%의 상대적 향상을 기록했으며, 강력한 적응 성과를 입증했다.
• Oromo (IL6)에서는 유사한 WER 향상에도 불구하고 성능 향상이 미미했으며, 이는 기계 번역 품질이 낮았기 때문일 수 있다(BLEU-4 ≈ 0.16 vs. 0.09) 및 적응 데이터가 적었기 때문이다.
• 3,000개의 다국어 레이블로 훈련된 영어 주제 분류기가 Tigrinya에서 159개의 IL 전용 레이블로 훈련된 IL 전용 분류기와 유사한 성능을 보였다.
• 영어 분류기의 훈련 데이터에 IL 전용 SF-Type 레이블을 추가하면 성능이 일관되게 향상되었으며, 159개의 레이블로 6시간의 NI 애너테이션 시간에 해당하는 27분의 ASR 적응 성과를 달성했다.
• 수집된 IL 전용 SF-Type 레이블의 수가 성능 결정 요소로 작용했으며, 특히 더 많은 레이블을 확보한 Oromo에서 성능 향상이 두드러졌다.