[논문 리뷰] Unsupervised Speech Domain Adaptation Based on Disentangled Representation Learning for Robust Speech Recognition

Jong-Hyeon Park, Myungwoo Oh외 1명|arXiv (Cornell University)|2019. 04. 12.

Speech Recognition and Synthesis참고 문헌 18인용 수 7

한 줄 요약

이 논문은 소음 환경에서 강건한 자동 음성 인식(ASR)을 향상시키기 위해 분리된 표현 학습을 활용한 GAN 기반 비지도 음성 도메인 적응 방법을 제안한다. 두 개의 전용 인코더를 통해 문맥과 도메인 표현을 분리하고, 적응형 인스턴스 정규화(AdaIN)를 적용함으로써 모델은 소음을 효과적으로 제거하면서도 음성 내용을 유지한다. 이로 인해 CHiME4 코퍼스에서 6.55–15.70%의 상대적 WER 감소를 달성하였으며, 소음이 있는 환경에서의 클리어 음성으로의 변환과 성별 불일치 상황 모두에서 효과를 입증하였다.

ABSTRACT

In general, the performance of automatic speech recognition (ASR) systems is significantly degraded due to the mismatch between training and test environments. Recently, a deep-learning-based image-to-image translation technique to translate an image from a source domain to a desired domain was presented, and cycle-consistent adversarial network (CycleGAN) was applied to learn a mapping for speech-to-speech conversion from a speaker to a target speaker. However, this method might not be adequate to remove corrupting noise components for robust ASR because it was designed to convert speech itself. In this paper, we propose a domain adaptation method based on generative adversarial nets (GANs) with disentangled representation learning to achieve robustness in ASR systems. In particular, two separated encoders, context and domain encoders, are introduced to learn distinct latent variables. The latent variables allow us to convert the domain of speech according to its context and domain representation. We improved word accuracies by 6.55~15.70\% for the CHiME4 challenge corpus by applying a noisy-to-clean environment adaptation for robust ASR. In addition, similar to the method based on the CycleGAN, this method can be used for gender adaptation in gender-mismatched recognition.

연구 동기 및 목표

• 학습 및 테스트 환경 간 도메인 불일치로 인한 ASR 시스템 성능 저하 문제를 해결하기 위해, 특히 소음이 있거나 불일치하는 조건에서의 성능 향상을 목적으로 한다.
• 원천 도메인과 대상 도메인 간에 쌍화된 훈련 데이터가 필요 없는 비지도 도메인 적응 방법을 개발하기 위해 제안한다.
• 소음 유형, 발화자 신원 등 도메인 특화 속성과 음성 내용을 분리함으로써 더 정밀한 적응을 가능하게 하여 ASR의 강건성을 향상시키기 위해 제안한다.
• 형광 및 고조파와 같은 중요한 음성 특징을 유지하면서도 손상된 소음을 제거할 수 있는 효과적인 음성 간 변환을 가능하게 하기 위해 제안한다.

제안 방법

• 멜 스펙트로그램에서 분리된 잠재 표현을 학습하기 위해 문맥 인코더와 도메인 인코더를 별도로 도입한다.
• 잠재 변수가 서로 다른 사전 분포를 따르도록 유도하여 내용과 도메인 속성 간의 분리를 보장한다.
• 내용을 유지하면서 스타일 전달을 위해 생성자에 도메인 특화 잠재 코드를 삽입하기 위해 적응형 인스턴스 정규화(AdaIN)를 적용한다.
• 사이클 일致성 손실과 적대적 손실을 포함한 GAN 프레임워크를 사용하여 실제적이고 일관된 음성 특징 변환을 보장한다.
• 원천 도메인과 대상 도메인의 쌍화되지 않은 멜 스펙트로그램을 기반으로 엔드 투 엔드로 모델을 훈련시켜 제로샷 적응을 가능하게 한다.
• 강건한 특징 학습과 생성을 위해 CNN 기반 아키텍처 내부에 잔차 신경망과 완전 연결층을 활용한다.

실험 결과

연구 질문

• RQ1 쌍화된 훈련 데이터가 없이도 분리된 표현 학습이 강건한 ASR를 위한 음성 도메인 적응에 효과적인가?
• RQ2 제안된 방법은 배경 소음을 제거하면서도 음성 내용(예: 형광, 고조파)을 얼마나 효과적으로 유지하는가?
• RQ3 모델은 소음이 있는 환경에서 클리어 음성으로의 변환과 성별 불일치 상황 모두에 일반화되는가?
• RQ4 분리된 접근 방식은 WER 감소 및 음성 품질 유지 측면에서 CycleGAN 기반 방법과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 방법은 CHiME4 개발 세트에서 시뮬레이션된 소음이 있는 발화에 대해 평균 6.55%의 WER 감소를, 실기록된 발화에 대해선 15.70%의 WER 감소를 달성하였다.
• 평가 세트에서, 시뮬레이션된 발화에 대해 6.72%의 상대적 WER 감소와 실기록된 발화에 대해선 10.88%의 상대적 WER 감소를 기록하여 베이스라인에 비해 우수한 성능을 보였다.
• 멜 스펙트로그램 시각화 결과, 제안된 방법이 CycleGAN보다 형광 및 고조파를 더 잘 유지하는 것으로 확인되었다.
• 남성에서 여성으로의 성별 불일치 인식 상황에서, 제안된 방법은 21.7%의 WER를 기록하여 CycleGAN의 22.3%에 비해 우수한 성능을 보였다.
• 분리된 표현 학습 덕분에 쌍화된 데이터 없이도 효과적인 도메인 전이가 가능하여 제로샷 적응에서도 뛰어난 강건성을 입증하였다.
• 다양한 소음 유형(버스, 카페, 보행자, 거리)과 발화자 신원에 대해 성공적으로 적응하여 광범위한 적용 가능성을 입증하였다.