[논문 리뷰] A Study of Enhancement, Augmentation, and Autoencoder Methods for Domain Adaptation in Distant Speech Recognition

Hao Tang, Wei-Ning Hsu외 2명|arXiv (Cornell University)|2018. 06. 13.

Speech Recognition and Synthesis인용 수 5

한 줄 요약

이 논문은 사전 훈련된 근거리 대화 음성 데이터를 기반으로 한 원거리 음성 인식 성능 향상을 위해 음성 강화, 데이터 증강, 다중 조건 훈련, 변동형 오토인코더 등의 도메인 적응 기법을 조사한다. 비반복적 도메인 적응 기법으로서 요소화된 계층적 변동형 오토인코더(FHVAEs)를 사용할 경우 원거리 음성에서 61.8%의 WER를 달성하며, 데이터 증강 기법을 능가하고 다중 조건 훈련에 가까운 성능을 보이며, 이는 성능 격차가 반향 이외의 요인에 기인할 수 있음을 시사한다.

ABSTRACT

Speech recognizers trained on close-talking speech do not generalize to distant speech and the word error rate degradation can be as large as 40% absolute. Most studies focus on tackling distant speech recognition as a separate problem, leaving little effort to adapting close-talking speech recognizers to distant speech. In this work, we review several approaches from a domain adaptation perspective. These approaches, including speech enhancement, multi-condition training, data augmentation, and autoencoders, all involve a transformation of the data between domains. We conduct experiments on the AMI data set, where these approaches can be realized under the same controlled setting. These approaches lead to different amounts of improvement under their respective assumptions. The purpose of this paper is to quantify and characterize the performance gap between the two domains, setting up the basis for studying adaptation of speech recognizers from close-talking speech to distant speech. Our results also have implications for improving distant speech recognition.

연구 동기 및 목표

• AMI 데이터셋에서 근거리 대화(이하 IHM)와 원거리 음성(이하 SDM) 간의 성능 격차를 정량화하고 특성화하는 것.
• 통일된 실험 환경에서 음성 강화, 데이터 증강, 다중 조건 훈련, 오토인코더 등의 다양한 도메인 적응 전략을 평가하는 것.
• 원거리 음성 인식 성능 저하가 주로 반향 때문인지, 또는 크로스톡, 이득 불일치 등의 다른 요인 때문인지 규명하는 것.
• 요소화된 계층적 변동형 오토인코더(FHVAEs)를 활용한 비반복적 도메인 적응이 근거리 대화 음성과 원거리 음성의 분포를 효과적으로 정렬할 수 있는지 평가하는 것.

제안 방법

• 연구는 근거리 대화(IHM)와 원거리 음성(SDM) 조건을 모두 포함한 AMI 데이터셋을 사용하며, 모든 방법에 동일한 ASR 모델 아키텍처를 적용한다.
• 음성 강화는 신경망을 사용하여 노이즈가 있는(원거리) 음성을 청소된(근거리) 음성으로 매핑하며, 병렬 데이터 기반 L2 재구성 손실을 최소화한다.
• 데이터 증강은 근거리 음성 데이터에 시뮬레이션된 반향을 적용하여 원거리 음성을 시뮬레이션하며, 실제 데이터와 증강된 데이터를 모두 사용해 모델을 훈련한다.
• 다중 조건 훈련은 IHM 및 SDM 데이터를 동시에 최적화하며, 두 도메인 모두 레이블이 있는 데이터가 필요하다.
• FHVAEs는 언어적 내용(공유)과 도메인 특화 요소(예: 반향)를 분리하도록 훈련되며, 공유 인코더와 도메인별 인코더를 사용한다.
• 훈련 후, FHVAE의 공유 잠재 표현을 TDNN의 입력으로 사용하며, IHM 및 SDM 테스트 세트에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 도메인 적응 기법이 근거리 대화와 원거리 음성 인식 간의 WER 격차를 얼마나 줄이는가?
• RQ2 원거리 음성 인식 성능 저하가 반향 때문인지, 또는 크로스톡, 이득 불일치 등의 다른 요인 때문인지 어느 정도인가?
• RQ3 비반복적 도메인 적응 기법으로서 FHVAEs를 사용할 경우, 타겟 도메인의 레이블이 없더라도 근거리 대화 음성과 원거리 음성의 잠재 공간을 효과적으로 정렬할 수 있는가?
• RQ4 FHVAE 기반 모델에서 공유 잠재 분포의 로그 분산을 특징에 포함시키면 도메인 적응 성능이 향상되는가?

주요 결과

• 다중 조건 훈련은 IHM에서 27.4%의 WER, SDM에서 70.3%의 WER를 기록하며 가장 뛰어난 성능을 보였지만, 두 도메인 모두 레이블이 필요하다.
• 음성 강화는 SDM에서 WER를 70.3%에서 54.2%로 낮추지만, 병렬 비라벨 데이터가 필요하여 다른 방법보다 실용성이 떨어진다.
• 시뮬레이션된 반향을 활용한 데이터 증강은 SDM에서 WER를 53.1%로 낮추며, 다중 조건 훈련에 가까운 성능을 보였지만, 타겟 조건을 정확히 시뮬레이션해야 한다.
• 비반복적 도메인 적응 기법으로서 FHVAEs를 사용할 경우, SDM에서 WER를 61.8%로 낮추며, 데이터 증강을 능가하고, 비록 레이블이 없는 데이터만 사용했음에도 불구하고 희망적인 성능을 보였다.
• FHVAE 특징에 공유 잠재 분포의 로그 분산을 포함시키면 성능이 악화되어 WER가 72.9%로 상승하였으며, 이는 잡음이나 관련이 없는 변동성을 유도할 수 있음을 시사한다.
• 결과는 IHM와 SDM 간 성능 격차가 주로 반향 때문이 아니라, 크로스톡, 이득 불일치 등의 다른 요인에 기인할 가능성이 높으며, 향후 추가 연구가 필요하다고 시사한다.