[논문 리뷰] Boosting Noise Robustness of Acoustic Model via Deep Adversarial Training

Bin Liu, Shuai Nie외 4명|arXiv (Cornell University)|2018. 05. 02.

Speech and Audio Processing참고 문헌 19인용 수 8

한 줄 요약

이 논문은 자동 음성 인식(ASR)에서의 노이즈 내성 향상을 위해 생성적 적대적 네트워크(GAN)와 신경망 기반 음향 모델(AM)을 공동 최적화하는 딥 적대적 훈련 프레임워크를 제안한다. 적대적 훈련을 통해 노이즈가 섞인 입력에서 청소된 음성 특징을 생성함으로써, CHiME-4 개발 세트에서 상대 오류율 감소율 23.38%와 테스트 세트에서 11.54%를 달성하며, 별도의 음성 증강 프론트엔드가 필요 없이 표준 교차 엔트로피 훈련 및 기준 시스템을 능가한다.

ABSTRACT

In realistic environments, speech is usually interfered by various noise and reverberation, which dramatically degrades the performance of automatic speech recognition (ASR) systems. To alleviate this issue, the commonest way is to use a well-designed speech enhancement approach as the front-end of ASR. However, more complex pipelines, more computations and even higher hardware costs (microphone array) are additionally consumed for this kind of methods. In addition, speech enhancement would result in speech distortions and mismatches to training. In this paper, we propose an adversarial training method to directly boost noise robustness of acoustic model. Specifically, a jointly compositional scheme of generative adversarial net (GAN) and neural network-based acoustic model (AM) is used in the training phase. GAN is used to generate clean feature representations from noisy features by the guidance of a discriminator that tries to distinguish between the true clean signals and generated signals. The joint optimization of generator, discriminator and AM concentrates the strengths of both GAN and AM for speech recognition. Systematic experiments on CHiME-4 show that the proposed method significantly improves the noise robustness of AM and achieves the average relative error rate reduction of 23.38% and 11.54% on the development and test set, respectively.

연구 동기 및 목표

• 배경 노이즈와 반사로 인한 ASR 성능 저하 문제를 해결하기 위해.
• 고비용의 계산 요구, 하드웨어 요구, 손실 함수 불일치로 인한 음성 왜곡 등의 문제를 겪는 전통적 프론트엔드 음성 증강 방법의 한계를 극복하기 위해.
• 별도의 증강 파이프라인에 의존하지 않고 음향 모델의 노이즈 내성 향상을 직접적으로 향상시키기 위해.
• ASR에서 종단간 적대적 훈련을 통한 노이즈 내성 향상의 가능성과 효과성을 탐색하기 위해.
• 생성자, 판별자 및 음향 모델을 공동 최적화하여 더 나은 일반화 및 성능을 달성하기 위해.

제안 방법

• 노이즈가 섞인 입력에서 청소된 음성 특징 표현을 생성하기 위해 조건부 생성적 적대적 네트워크(cGAN)를 사용한다.
• 생성자는 실제 청소된 신호와 생성된 신호를 구분하는 판별자를 속이도록 훈련되어 실감나는 청소된 특징을 생성하도록 한다.
• 음향 모델은 교차 엔트로피 손실과 적대적 손실을 조합한 하이브리드 손실을 통해 GAN과 공동 최적화되며, 이는 하이퍼파rameter α로 제어된다.
• 훈련 목표는 최소화-최대화 게임으로 기술되며, min_G max_D V(G,D) = E_x~p_data[log D(x)] + E_z~p_z[log(1 - D(G(z)))]로 표현된다.
• 청소된 신호와 노이즈가 섞인 신호 쌍 간의 일대일 대응이 필요 없으며, 명시적인 음성 증강 모듈의 필요성도 제거된다.
• PyTorch를 사용하여 엔드 투 엔드로 훈련되며, 음향 모델은 GAN 생성자와 판별자를 통해 역전파를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 별도의 음성 증강 프론트엔드 없이 적대적 훈련을 통해 음향 모델의 노이즈 내성 향상에 효과적으로 활용될 수 있는가?
• RQ2 표준 교차 엔트로피 훈련과 비교했을 때, GAN과 음향 모델을 공동 최적화하는 방식이 노이즈 조건 하에서 ASR 성능에 어떻게 영향을 미치는가?
• RQ3 최적의 ASR 성능를 달성하기 위해 적대적 손실과 분류 손실 간의 최적의 트레이드오프(α로 제어)는 무엇인가?
• RQ4 적대적 훈련은 표준 훈련 대비 수렴 속도가 빠르고, 더 높은 프레임 수준 정확도를 제공하는가?
• RQ5 제안된 방법은 추론 시 청소된 기준 신호가 필요 없이 실제 노이즈가 섞인 환경에 일반화 가능한가?

주요 결과

• 제안된 딥 적대적 훈련 방법은 기준 시스템 대비 CHiME-4 개발 세트에서 상대 오류율 감소율 23.38%를 달성한다.
• 테스트 세트에서는 상대 오류율 감소율 11.54%를 기록하며, 실제 노이즈가 섞인 환경에 대한 강력한 일반화 능력을 보여준다.
• α = 0.4일 때 개발 세트에서 가장 낮은 WER(16.32%)를 기록하여 적대적 손실과 분류 손실 간의 최적 균형을 이룬다.
• 적대적 훈련 설정에서는 교차 엔트로피 훈련 대비 훈련 중 프레임 정확도가 더 빠르게 증가하고 더 높은 수준에 도달한다.
• 모든 테스트 조건에서 표준 교차 엔트로피 훈련 모델(CE-train)과 기준 Kaldi 시스템을 모두 능가한다.
• 결과는 종단간 적대적 훈련이 노이즈가 섞인 음성의 구조적 특징을 효과적으로 포착하고, 명시적인 음성 증강 없이도 내성 향상에 기여함을 보여준다.