[논문 리뷰] Large-Scale Domain Adaptation via Teacher-Student Learning

Jinyu Li, Michael L. Seltzer외 3명|arXiv (Cornell University)|2017. 08. 17.

Speech Recognition and Synthesis참고 문헌 27인용 수 20

한 줄 요약

이 논문은 레이블이 없는 병렬 데이터를 사용하여 교사-학생 학습을 통한 대규모 도메인 적응 방법을 제안한다. 여기서 사전 훈련된 소스 도메인 모델이 교사 역할을 하여 타겟 도메인 학생 모델을 훈련시키기 위해 후행 확률을 제공하며, 번역된 데이터가 필요로 하지 않는다. 이 방법은 소음이 많은 음성 및 어린이의 음성 적응 시나리오에서 최대 44%의 상대적 단어 오류율 감소를 달성한다.

ABSTRACT

High accuracy speech recognition requires a large amount of transcribed data for supervised training. In the absence of such data, domain adaptation of a well-trained acoustic model can be performed, but even here, high accuracy usually requires significant labeled data from the target domain. In this work, we propose an approach to domain adaptation that does not require transcriptions but instead uses a corpus of unlabeled parallel data, consisting of pairs of samples from the source domain of the well-trained model and the desired target domain. To perform adaptation, we employ teacher/student (T/S) learning, in which the posterior probabilities generated by the source-domain model can be used in lieu of labels to train the target-domain model. We evaluate the proposed approach in two scenarios, adapting a clean acoustic model to noisy speech and adapting an adults speech acoustic model to children speech. Significant improvements in accuracy are obtained, with reductions in word error rate of up to 44% over the original source model without the need for transcribed data in the target domain. Moreover, we show that increasing the amount of unlabeled data results in additional model robustness, which is particularly beneficial when using simulated training data in the target-domain.

연구 동기 및 목표

• 타겟 도메인에서 레이블이 부족하거나 존재하지 않는 저자원 도메인 적응 문제를 해결하기 위해.
• 타겟 도메인의 번역 데이터가 필요 없이 잘 훈련된 음성 모델을 소스 도메인에서 타겟 도메인으로 확장할 수 있는 스케일러블한 방법을 개발하기 위해.
• 소스 도메인과 타겟 도메인의 샘플 쌍인 레이블이 없는 병렬 데이터를 활용하여 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 특히 시뮬레이션되거나 소음이 많은 타겟 도메인 데이터를 사용할 때 교사-학생 학습의 효과성을 입증하기 위해.
• 레이블이 없는 데이터의 양을 늘일수록 저자원 적응 환경에서 모델의 강건성과 성능이 향상됨을 보여주기 위해.

제안 방법

• 사전 훈련된 소스 도메인 음성 모델을 교사 모델로 사용하여 레이블이 없는 소스-타겟 쌍 데이터에서 후행 확률을 생성한다.
• 교사의 후행 출력을 소프트 레이블로 사용하여 타겟 도메인에서 학생 모델을 훈련시키며, 실제 번역 데이터가 필요로 하지 않는다.
• 이중 단계 훈련 과정을 사용한다: 첫 번째 단계에서 교사 모델이 병렬 소스-타겟 발화에서 가짜 레이블을 생성하고, 두 번째 단계에서 이러한 가짜 레이블을 사용하여 지식 정착을 통한 학생 모델을 훈련시킨다.
• 데이터 증강 및 도메인 불변 표현 학습을 지식 정착 과정을 통해 암시적으로 활용하여 일반화 능력을 향상시킨다.
• 레이블이 없는 대규모 병렬 데이터를 활용하여 타겟 도메인 레이블 데이터가 없더라도 효과적인 적응을 가능하게 한다.
• 학생 모델의 예측과 교사의 후행 출력 간의 교차 엔트로피 손실을 최적화하여 학습한다.

실험 결과

연구 질문

• RQ1 타겟 도메인에서 번역 데이터가 없더라도 교사-학생 학습이 사전 훈련된 음성 모델을 새로운 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 레이블이 없는 병렬 데이터의 양이 증가함에 따라 타겟 도메인에서의 모델 성능은 어떻게 변화하는가?
• RQ3 타겟 도메인이 시뮬레이션되거나 소음이 많은 경우, 이 방법이 얼마나 강건성을 향상시킬 수 있는가?
• RQ4 제한된 레이블 데이터가 있는 경우, 교사가 생성한 후행 확률을 사용한 지식 정착이 기존의 피니팅보다 우수한가?
• RQ5 성인의 음성에서 어린이의 음성으로, 또는 청소화된 환경에서 소음이 많은 환경으로의 다양한 도메인 이동에 대해 이 방법이 일반화 가능한가?

주요 결과

• 제안된 방법은 소음이 많은 음성 및 어린이의 음성 적응 작업에서 원본 소스 도메인 모델 대비 최대 44%의 상대적 단어 오류율 감소를 달성했다.
• 레이블이 없는 병렬 데이터의 양이 증가할수록 성능이 일관되게 향상되어, 이 방법의 확장성과 강건성을 입증했다.
• 타겟 도메인에서 레이블이 제한되거나 전혀 없을 경우, 기준선 피니팅 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 레이블이 없는 병렬 데이터의 활용은 데이터 분포 이동이 큰 시뮬레이션 타겟 도메인에서도 효과적인 도메인 적응을 가능하게 했다.
• 교사-학생 정착 프레임워크는 번역 데이터가 필요 없이 깨끗하고 잘 훈련된 모델의 지식을 새로운 도메인으로 효과적으로 전달하는 데 성공했다.
• 결과는 강력한 교사 모델이 생성한 후행 확률이 저자원 환경에서 도메인 적응을 위한 신뢰할 수 있는 지도 신호가 될 수 있음을 시사한다.