[논문 리뷰] Data Techniques For Online End-to-end Speech Recognition

Yang Chen, Weiran Wang외 2명|arXiv (Cornell University)|2020. 01. 24.

Speech Recognition and Synthesis참고 문헌 34인용 수 4

한 줄 요약

이 논문은 제한된 도메인 내 데이터를 바탕으로 온라인 엔드 투 엔드 ASR 성능을 향상시키기 위해 데이터 중심 기법들—도메인 적응, 데이터 증강, 비음성화된 데이터를 활용한 지식 정복—을 제안한다. 단방향 CTC 모델에 이러한 방법들을 조합함으로써, WSJ에서 50퍼센트 이상의 상대적 WER 감소와 도전적인 대화형 음성 데이터셋에서 25.4퍼센트의 상대적 향상을 달성하였으며, 강력한 기준 모델들과 더 많은 데이터로 훈련된 양방향 모델들보다도 뛰어난 성능을 보였다.

ABSTRACT

Practitioners often need to build ASR systems for new use cases in a short amount of time, given limited in-domain data. While recently developed end-to-end methods largely simplify the modeling pipelines, they still suffer from the data sparsity issue. In this work, we explore a few simple-to-implement techniques for building online ASR systems in an end-to-end fashion, with a small amount of transcribed data in the target domain. These techniques include data augmentation in the target domain, domain adaptation using models previously trained on a large source domain, and knowledge distillation on non-transcribed target domain data, using an adapted bi-directional model as the teacher; they are applicable in real scenarios with different types of resources. Our experiments demonstrate that each technique is independently useful in the improvement of the online ASR performance in the target domain.

연구 동기 및 목표

• 제한된 도메인 내 음성 전사 데이터를 바탕으로 정확한 온라인 엔드 투 엔드 ASR 시스템을 구축하는 데 도전하는 것.
• 데이터 부족이 모델 정확도를 제한하는 저자원 실세계 ASR 환경에서의 성능 향상.
• 자원 가용성에 따라 달라지는 실세계 시스템에 쉽게 구현 가능한 실용적인 데이터 기법 개발.
• 모델 복잡성 대신 데이터 조작이 저데이터 환경에서 상당한 성능 향상을 이끌 수 있음을 입증하는 것.

제안 방법

• 도메인 내 전사 데이터에 직접 데이터 증강 기법을 적용하여 훈련 다양성과 강건성을 높임.
• 소스 도메인 사전 훈련된 단방향 CTC 모델을 활용해 도메인 적응을 수행하고, 제한된 도메인 내 데이터로 미세조정.
• 비음성화된 타겟 데이터를 사용해 이중 방향 모델(도메인 내 데이터로 훈련됨)이 의사 레이블을 생성하고, 이를 단방향 학생 모델로 지식 정복하는 새로운 교사-학생 정복 프레임워크를 구현.
• 학생 모델로 5층의 단방향 LSTM 아키텍처를, 교사 모델로 5층의 이중 방향 LSTM 아키텍처를 사용하며, 둘 다 동일한 소스 도메인 데이터로 훈련.
• 프레임 스택(3배) 및 개인별 평균 정규화를 수행해 훈련 효율성과 강건성을 향상.
• ADAM 옵timizer로 훈련하고, Kaldi 레시피에서 제공하는 언어 모델과 어휘 사전을 사용한 빔 서치 디코딩을 수행하며, <blank> 기호에 대한 조정된 사전 확률을 적용.

실험 결과

연구 질문

• RQ1 도메인 내 전사 데이터에 대한 데이터 증강이 최소한의 데이터로도 온라인 엔드 투 엔드 ASR 성능을 상당히 향상시킬 수 있는가?
• RQ2 대규모 소스 도메인 사전 훈련된 모델에서의 도메인 적응이 저자원 타겟 도메인에서의 성능 향상에 얼마나 기여하는가?
• RQ3 비음성화된 데이터와 이중 방향 교사 모델을 활용한 지식 정복이 단방향 학생 모델로 모델링 능력을 효과적으로 전달할 수 있는가?
• RQ4 이러한 기법들이 어떻게 조합되며, 함께 적용했을 때 누적된 성능 향상은 어느 정도인가?

주요 결과

• WSJ 코퍼스에서 도메인 적응, 데이터 증강, 지식 정복을 조합함으로써 WER는 도메인 내 데이터 15시간 기반 기준 모델의 17.72%에서 7.58%로 감소하여 50퍼센트 이상의 상대적 향상을 달성.
• 유사한 양의 비음성화된 데이터로 훈련된 이중 방향 CTC 모델(13.50% WER)과 더 많은 도메인 내 데이터로 훈련된 단방향 모델(11.98% WER)보다도 성능이 뛰어남.
• 도전적인 대화형 음성 데이터셋에서 25.4퍼센트의 상대적 WER 향상을 달성하여 테스트 세트의 오차율을 27.68%에서 20.64%로 감소.
• 각 개별 기법—데이터 증강, 도메인 적응, 비음성화된 데이터 기반 지식 정복—이 모두 측정 가능한 추가적인 성능 향상을 가져왔으며, 누적 효과가 있었음.
• 비음성화된 데이터를 활용한 교사-학생 정복 프레임워크는 이 저데이터, 온라인 ASR 환경에서 특히 효과적이고 새로운 기법으로 입증됨.
• 다양한 발화 스타일을 가진 데이터셋 간에서도 결과가 일관되었으며, 제안된 기법들의 일반화 가능성 확인.