[논문 리뷰] Large-scale ASR Domain Adaptation using Self- and Semi-supervised Learning

Dongseong Hwang, Ananya Misra외 8명|arXiv (Cornell University)|2021. 10. 01.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 대규모 자동 음성 인식(ASR) 도메인 적응을 위한 동시 자기 및 준지도 학습 방법을 제안한다. 라벨이 부여된 타겟 도메인 데이터의 3%만을 사용하여 전체 데이터 기반 베이스라인과 동일한 성능을 달성한다. 이 방법은 자기지도 사전 훈련과 신뢰도 필터링을 거친 노이지 스터디 훈련을 결합하여 타겟 도메인에서 상대적으로 13.5%의 WER 향상을 이끌어내며, 소스 도메인에서도 일반화 능력이 향상된다.

ABSTRACT

Self- and semi-supervised learning methods have been actively investigated to reduce labeled training data or enhance the model performance. However, the approach mostly focus on in-domain performance for public datasets. In this study, we utilize the combination of self- and semi-supervised learning methods to solve unseen domain adaptation problem in a large-scale production setting for online ASR model. This approach demonstrates that using the source domain data with a small fraction of the target domain data (3%) can recover the performance gap compared to a full data baseline: relative 13.5% WER improvement for target domain data.

연구 동기 및 목표

• 학습 데이터(소스 도메인)가 실제 환경의 테스트 데이터(타겟 도메인)와 다를 때 발생하는 도메인 불일치 문제를 해결한다.
• 생산용 ASR 시스템에서 도메인 적응을 위해 대규모 라벨이 부여된 타겟 도메인 데이터에 대한 의존도를 줄인다.
• 자기지도 학습과 준지도 학습이 도메인 외부 및 도메인 내부 ASR 성능 향상에 어떻게 상호보완적으로 기여하는지 조사한다.
• 최소한의 라벨이 부여된 타겟 도메인 데이터를 활용하여 모델의 일반화 능력을 향상시키기 위한 훈련 전략을 최적화한다.

제안 방법

• 공유된 인과적 오디오 인코더를 사용하여 RNN-T 손실과 자기지도 손실(예: Wav2vec2.0, APC, Wav2vec)을 동시에 훈련한다.
• 멀티레이어 퍼셉트론(MLP) 어댑터를 사용하여 오디오 인코더의 최종 표현을 RNN-T와 자기지도 목적으로 특화시킨다.
• 비인과적 테이처 모델을 사용하여 타겟 도메인의 라벨이 없는 데이터에 대해 가짜 레이블을 생성하기 위해 노이지 스터디 훈련(NST)을 적용한다.
• 신뢰도 추정 모듈(CEM)을 구현하여 낮은 신뢰도의 가짜 레이블이 부여된 발화를 필터링함으로써 레이블 품질과 모델의 강건성을 향상시킨다.
• RNN-T 손실을 가이드로 삼아 Wav2vec2.0가 인과적 인코더에서 수렴하도록 하는 연속 훈련 전략을 도입한다.
• 손실 가중치에 하이퍼파라미터 λ = 0.5를 사용하여 라벨이 부여된 소스 데이터와 필터링된 가짜 레이블이 부여된 타겟 데이터를 조합하여 모델을 피지컬 훈련한다.

Fig. 1 : Domain adaptation: Self-sup pre-trains the audio encoder. Supervised and semi-sup train all the modules.

실험 결과

연구 질문

• RQ1 자기지도 및 준지도 학습을 동시에 적용하여, 최소한의 라벨이 부여된 타겟 도메인 데이터로 대규모 ASR 시스템에서 도메인 외부 일반화 갭을 완전히 보완할 수 있는가?
• RQ2 자기지도 학습과 준지도 학습이 도메인 적응 및 도메인 내부 성능 향상에 각각 어떻게 기여하는가?
• RQ3 인과적, 온라인 ASR 모델에서 자기지도 사전 훈련과 준지도 피지컬 훈련을 조합하기 위한 최적의 훈련 전략은 무엇인가?
• RQ4 가짜 레이블의 신뢰도 필터링이 소스 도메인과 타겟 도메인 양쪽에서 모델 성능에 어떤 영향을 미치는가?
• RQ5 RNN-T와 자기지도 손실을 동시에 훈련시키는 방식이 인과적 Wav2vec2.0 훈련에서 발생하는 수렴 문제를 극복할 수 있는가?

주요 결과

• 자기지도 및 준지도 학습을 사용하여 타겟 도메인 데이터의 3%만을 라벨로 사용할 경우, 전체 데이터 기반 베이스라인 대비 타겟 도메인에서 상대적으로 13.5%의 WER 향상을 달성한다.
• 통합된 방법은 타겟 도메인 WER를 3.1% (MF)로 줄였고, 소스 도메인 WER를 5.7% (SF)로 낮추었으며, 100% 타겟 데이터로만 학습한 지도 학습보다 우수한 성능을 보였다.
• 자기지도 학습은 전반적인 모델 일반화 능력을 향상시키지만, 준지도 학습은 도메인 외부 일반화 갭을 직접적으로 보완한다.
• 신뢰도 필터링은 타겟 도메인 발화의 24%를 제거했지만, 타겟 WER는 3.2%에서 3.1%로, 소스 WER는 5.8%에서 5.7%로 개선했다.
• RNN-T와 자기지도 손실을 동시에 훈련시키는 방식은 Wav2vec2.0가 인과적 인코더에서 수렴하도록 하여 4.3%의 WER를 달성했으며, 독립적인 Wav2vec2.0 사전 훈련보다 우수한 성능을 보였다.
• 이중 훈련 전략은 두 단계의 사전 훈련과 피지컬 훈련 대비 총 훈련 단계를 최대 80%까지 줄였으며, 더 빠른 수렴과 더 나은 최종 성능을 달성했다.

Fig. 2 : Comparison of WER convergence with and without Joint train for wav2vec and wav2vec2.0.