[논문 리뷰] Developing Far-Field Speaker System Via Teacher-Student Learning

Jinyu Li, Rui Zhao외 5명|arXiv (Cornell University)|2018. 04. 14.

Speech Recognition and Synthesis참고 문헌 35인용 수 6

한 줄 요약

이 논문은 원거리 음성 시스템을 개발하기 위해 교사-학생(T/S) 학습 프레임워크를 제안한다. 이는 가까이서 말하는 음성 모델(AM)을 원거리 조건에 적응시키고, 장치 효율성을 위해 큰 키워드 스로잉(KWS) 모델을 압축한다. 번역이 없는 데이터를 사용함으로써 T/S 학습은 원거리 조건에서의 AM 성능을 향상시켜 배경음성 재생 데이터와 실시간 데이터에서 각각 72.60%와 57.16%의 상대적 WER 감소를 이끌었으며, 정확도 손실 없이 KWS 모델 크기를 27배 압축하였다.

ABSTRACT

In this study, we develop the keyword spotting (KWS) and acoustic model (AM) components in a far-field speaker system. Specifically, we use teacher-student (T/S) learning to adapt a close-talk well-trained production AM to far-field by using parallel close-talk and simulated far-field data. We also use T/S learning to compress a large-size KWS model into a small-size one to fit the device computational cost. Without the need of transcription, T/S learning well utilizes untranscribed data to boost the model performance in both the AM adaptation and KWS model compression. We further optimize the models with sequence discriminative training and live data to reach the best performance of systems. The adapted AM improved from the baseline by 72.60% and 57.16% relative word error rate reduction on play-back and live test data, respectively. The final KWS model size was reduced by 27 times from a large-size KWS model without losing accuracy.

연구 동기 및 목표

• 번역된 원거리 음성 데이터가 필요 없이 원거리 음성 인식에서 음성 모델(AM) 성능을 향상시키는 것.
• 정확도를 유지하면서 저성능 장치에 맞게 큰 키워드 스로잉(KWS) 모델을 압축하는 것.
• 번역되지 않은 가까이서 말하는 데이터와 시뮬레이션된 원거리 음성 데이터를 활용해 모델 적응 및 압축을 수행하는 것.
• 실시간 테스트 데이터를 활용한 시퀀스 분류 기반 학습으로 모델을 최적화하여 실제 환경 성능을 향상시키는 것.
• 자기지도 지식 전이를 활용해 확장 가능하고 효율적인 원거리 음성 시스템을 개발하는 것.

제안 방법

• 동시에 제공되는 가까이서 말하는 데이터와 시뮬레이션된 원거리 음성 데이터를 사용해 잘 훈련된 가까이서 말하는 음성 모델(교사)에서 원거리 음성 모델(학생)로 지식을 전이하기 위해 교사-학생 학습을 적용한다.
• 번역되지 않은 원거리 음성 데이터를 학생 모델 훈련 과정에 활용하여 번역이 필요 없이도 강건성을 향상시킨다.
• 교사 모델이 생성한 소프트 레이블을 모방함으로써 큰 KWS 모델을 더 작은 모델로 압축하기 위해 지식 전이를 적용한다.
• 실시간 테스트 데이터를 사용한 시퀀스 분류 기반 학습으로 AM 및 KWS 모델을 최적화하여 실제 환경 성능을 향상시킨다.
• 교사 모델의 소프트 레이블 분포를 학생 모델에 일치시키기 위해 지식 전이 목표를 사용해 학생 모델을 훈련시킨다.
• 실제 환경 조건을 보완하고 저SNR 환경에서의 일반화 능력을 향상시키기 위해 시뮬레이션된 원거리 음성 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 번역되지 않은 원거리 음성 데이터가 없이도 교사-학생 학습이 가까이서 말하는 음성 모델을 원거리 조건에 효과적으로 적응시킬 수 있는가?
• RQ2 에지 장치에서 정확도를 유지하면서 지식 전이가 얼마나 큰 KWS 모델을 압축할 수 있는가?
• RQ3 번역되지 않은 데이터가 원거리 음성 인식 및 KWS 시스템의 성능 향상에 어떻게 기여하는가?
• RQ4 시퀀스 분류 기반 학습과 실시간 데이터가 실제 환경 성능에 어떤 영향을 미치는가?
• RQ5 통합된 T/S 프레임워크가 동시에 AM의 강건성 향상과 KWS 모델의 효율성 향상에 기여할 수 있는가?

주요 결과

• 적응된 음성 모델은 기준 모델 대비 재생 테스트 데이터에서 72.60%의 상대적 단어오류률(WER) 감소를 달성했다.
• 실시간 테스트 데이터에서 적응된 AM은 57.16%의 상대적 WER 감소를 기록하여 뛰어난 실제 환경 내 강건성을 입증했다.
• 최종 KWS 모델은 원래의 큰 모델 대비 크기를 27배 압축했지만 정확도에 변화가 없었다.
• T/S 학습에서 번역되지 않은 데이터 사용이 AM 적응과 KWS 압축 모두에서 모델 일반화 능력을 크게 향상시켰다.
• 실시간 데이터를 활용한 시퀀스 분류 기반 학습은 특히 소음이 많은 실제 환경 조건에서 성능 향상에 기여했다.
• 제안된 T/S 프레임워크는 시뮬레이션된 데이터와 번역되지 않은 데이터를 효과적으로 활용하여 고비용의 번역 데이터 의존도를 줄였다.