[논문 리뷰] Distilling Knowledge Using Parallel Data for Far-field Speech Recognition

Jiangyan Yi, Jianhua Tao외 2명|arXiv (Cornell University)|2018. 02. 20.

Speech Recognition and Synthesis참고 문헌 30인용 수 4

한 줄 요약

이 논문은 병렬 음성 데이터를 사용하여 가까이에서 말하는(교사) 모델에서 멀리 떨어져서 말하는(학생) 모델로 지식 정련을 수행함으로써 멀리 떨어진 환경에서의 음성 인식 성능을 향상시키는 방법을 제안한다. 학생 모델과 교사 모델의 출력 분포 간의 KL 발산을 최소화함으로써, AMI 코퍼스에서 기존의 훈련 방식보다 유의하게 뛰어난 성능을 달성하여 단어 오류율(WER)을 4.7%p 감소시켰다.

ABSTRACT

In order to improve the performance for far-field speech recognition, this paper proposes to distill knowledge from the close-talking model to the far-field model using parallel data. The close-talking model is called the teacher model. The far-field model is called the student model. The student model is trained to imitate the output distributions of the teacher model. This constraint can be realized by minimizing the Kullback-Leibler (KL) divergence between the output distribution of the student model and the teacher model. Experimental results on AMI corpus show that the best student model achieves up to 4.7% absolute word error rate (WER) reduction when compared with the conventionally-trained baseline models.

연구 동기 및 목표

• 소음이 많고 반향이 심한 조건으로 인해 열악해지는 멀리 떨어진 환경에서의 음성 인식 성능 향상.
• 제한된 멀리 떨어진 환경 데이터 문제를 해결하기 위해 병렬로 기록된 가까이에서 말하는 데이터와 멀리 떨어진 환경의 데이터를 활용.
• 고품질의 가까이에서 말하는 데이터에서 얻은 강건성을 학생 모델로 전이하기 위해 지식 정련을 탐색.
• 성능이 뛰어난 교사 모델에서 학생 모델로 지식을 전이함으로써 멀리 떨어진 환경에서의 음성 인식에서 단어 오류율(WER)을 감소시키기.
• 동일한 화자로부터 동시에 기록된 병렬 데이터를 사용한 정련의 효과를 입증하기.

제안 방법

• 고품질의 근접 음성 데이터에서 가까이에서 말하는(교사) 모델을 훈련.
• 동일한 문장들에 대해 병렬로 기록된 멀리 떨어진 환경의 음성 데이터를 사용하여 학생 모델을 훈련.
• 학생 모델의 출력 분포와 교사 모델의 출력 분포 간의 쿨백-라이블러(KL) 발산을 최소화.
• 훈련 중에 지식 정련을 적용하여 학생 모델이 교사 모델의 소프트 레이블 분포를 모방하도록 학습.
• 기본적인 ASR 훈련 목표를 그대로 사용하지만, 학생 예측이 교사 출력과 일치하도록 정련 손실을 추가.
• 지표 레이블에 대한 교차 엔트로피 손실과 교사로부터의 KL 발산 손실을 조합하여 학생 모델을 최적화.

실험 결과

연구 질문

• RQ1 가까이에서 말하는 교사 모델에서의 지식 정련이 멀리 떨어진 환경에서의 음성 인식 성능 향상에 기여하는가?
• RQ2 비교적 병렬로 기록된 가까이에서 말하는 데이터와 멀리 떨어진 환경의 데이터를 사용할 경우, 비병렬 데이터 대비 정련 효과가 향상되는가?
• RQ3 정련을 통해 멀리 떨어진 환경에서의 단어 오류율(WER)은 어느 정도 감소할 수 있는가?
• RQ4 동일한 멀리 떨어진 환경 데이터로 훈련된 경우, 정련 방식은 기존의 훈련 방식보다 성능이 뛰어난가?
• RQ5 멀리 떨어진 환경에서 소음과 반향이 심한 조건에서, 교사 모델의 소프트 레이블을 사용할 경우 학생 모델의 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 가장 우수한 학생 모델은 AMI 코퍼스에서 기존의 훈련 기반 모델 대비 4.7%p의 절대적인 단어 오류율(WER) 감소를 달성했다.
• 병렬 데이터를 사용한 지식 정련은 학생 모델의 멀리 떨어진 환경에서의 강건성을 크게 향상시켰다.
• 고품질의 가까이에서 말하는 교사 모델에서 멀리 떨어진 환경의 학생 모델로 지식을 효과적으로 전이하였다.
• 학생 모델과 교사 모델의 출력 분포 간 KL 발산 손실은 일반화 능력과 성능 향상에 핵심적인 요소였다.
• 병렬 데이터를 사용함으로써 교사 모델과 학생 모델이 동일한 문장 내용에 대해 정렬될 수 있어 더 정확한 정련이 가능했다.
• 결과적으로, 추가적인 멀리 떨어진 환경 데이터가 필요 없이도 병렬 데이터를 사용한 정련은 멀리 떨어진 환경에서의 음성 인식 성능 향상에 매우 효과적인 전략임을 입증했다.