[논문 리뷰] Unsupervised Domain Adaptation by Adversarial Learning for Robust Speech Recognition

Pavel Denisov, Ngoc Thang Vu외 1명|ArXiv.org|2018. 07. 30.

Speech Recognition and Synthesis참고 문헌 29인용 수 9

한 줄 요약

이 논문은 적대적 학습을 사용하여 원거리, 소음이 많고 반향이 있는 녹음 조건에 대한 강건성을 향상시키기 위해 음성 인식을 위한 비지도 도메인 적응 방법을 제안한다. 라벨 없이 제공된 타겟 데이터로부터 도메인 불변 특징을 학습하기 위해 DNN와 도메인 구분자, 기울기 반전을 함께 훈련시킴으로써, 이는 이탈리아어 SPEECON 데이터에서 19.8% 상대적 WER 감소와 프랑스어 적응 데이터에서 12.6%의 감소를 이끌어내어, 심지어 이종 언어 환경에서도 효과적임을 입증한다.

ABSTRACT

In this paper, we investigate the use of adversarial learning for unsupervised adaptation to unseen recording conditions, more specifically, single microphone far-field speech. We adapt neural networks based acoustic models trained with close-talk clean speech to the new recording conditions using untranscribed adaptation data. Our experimental results on Italian SPEECON data set show that our proposed method achieves 19.8% relative word error rate (WER) reduction compared to the unadapted models. Furthermore, this adaptation method is beneficial even when performed on data from another language (i.e. French) giving 12.6% relative WER reduction.

연구 동기 및 목표

• 비음성 녹음 조건에서의 자동 음성 인식의 강건성을 향상시키기, 특히 단일 마이크로폰 원거리 음성에 중점을 두고.
• 청결한 근접 대화 음성 데이터로 훈련된 음성 모델에 대해 적대적 학습을 활용한 비지도 도메인 적응을 조사하기.
• 동일 언어 및 이종 언어 설정 모두에서 방법의 효과성을 평가하기, 특히 자원이 적은 언어에서의 성능을 중심으로.
• 다른 언어의 라벨 없이 제공된 데이터로의 적응이 여전히 상당한 WER 향상 효과를 낼 수 있는지 확인하기.
• 적응 데이터의 양이 모델 성능에 미치는 영향을 평가하기.

제안 방법

• 딥 네ural 네트워크(DNN)를 사용하며, 공유된 하위층(특징 추출기)과 세션 분류 및 도메인 분류를 위한 작업별 헤드를 포함한다.
• 적응 과정에서, 모델은 라벨이 있는 청결한 음성(소스 도메인)과 라벨이 없는 원거리 음성(타겟 도메인)의 혼합 데이터로 미세 조정된다.
• 입력 특징이 소스 도메인인지 타겟 도메인인지 식별하기 위해 도메인 구분자가 훈련되며, 기울기 반전층(GRL)을 통해 기울기를 반전시켜 도메인 불변성을 장려한다.
• 손실 함수는 세션 분류를 위한 교차 엔트로피와 도메인 식별을 위한 적대적 손실을 조합하여, 역전파를 통해 함께 최적화된다.
• 기울기 반전 계수 $\lambda$는 작업 정확도와 도메인 불변성 사이의 트레이드오���잉을 제어하며, 최적의 값은 경험적으로 도출된다.
• 특징 레이어 인덱스 $f$는 기울기 반전이 적용되는 레이어를 결정하며, 학습되는 도메인 불변성 수준에 영향을 준다.

실험 결과

연구 질문

• RQ1 라벨 없이 제공된 데이터 없이도 적대적 도메인 적응이 원거리 음성 인식의 성능을 향상시킬 수 있는가?
• RQ2 적응 데이터가 다른 언어에서 온 경우(이종 언어 설정)에 이 방법의 효과는 어떠한가?
• RQ3 라벨 없이 제공된 적응 데이터의 양이 WER 감소에 어떤 영향을 미치는가?
• RQ4 하이퍼파라미터인 $\lambda$(기울기 반전 계수)와 $f$(특징 레이어 인덱스)가 적응 성능에 미치는 영향은 무엇인가?
• RQ5 이 방법은 적응 데이터에 포함된 조건 이외의 다양한 녹음 조건으로도 일반화되는가?

주요 결과

• 제안된 방법은 청결한 근접 대화 음성에서 원거리 음성 조건으로의 적응 시, 이탈리아어 SPEECON 데이터에서 19.8% 상대적 단어오류률(WER) 감소를 달성했다.
• 프랑스어 적응 데이터(다른 언어)를 사용한 경우에도 12.6% 상대적 WER 감소를 기록하여 이종 언어 환경에서도 효과적임을 입증했다.
• 최고의 성능은 $\lambda = 2.0$ 및 $f = 2$에서 달성되었으며, 이는 125시간의 Channel 4 데이터에서 WER 68.3%를 기록했다.
• 적응 데이터를 125시간에서 30시간으로 줄였을 때 WER 증가 폭이 1.5%에 그쳐, 30시간 이상부터는 수익 감소 효과가 나타났다.
• 비슷한 언어가 아닌 적응 데이터를 사용했을 때도 성능 향상이 관찰되어, 다양한 녹음 조건에 대해 강건함을 보였다.
• 결과적으로 모델이 특정 적응 데이터의 녹음 조건에 과적합되는 것이 아니라 일반적인 도메인 불변 특징을 학습하고 있음을 시사한다.