[논문 리뷰] Learning Noise-Invariant Representations for Robust Speech Recognition

Davis Liang, Zhiheng Huang외 1명|arXiv (Cornell University)|2018. 07. 17.

Speech Recognition and Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 깨끗한 음성과 그 노이즈가 첨가된 복사본에 대해 훈련 중에 동일한 은닉 표현을 생성하도록 유도하는 정규화 방법인 불변 표현 학습(Invariant-Representation Learning, IRL)을 제안한다. L2 및 코사인 유사도를 사용하여 중간 레이어의 표현 간 거리를 페널티 처리함으로써, IRL은 깨끗한 Librispeech 테스트 세트와 다른 테스트 세트에서 문자 오류율(Character Error Rate, CER)을 45% 이상 감소시키며, 데이터 증강 및 이전의 기준 모델들보다 뛰어나게 성능을 발휘한다. 특히 도메인 외부 노이즈 조건에서 두각을 나타낸다.

ABSTRACT

Despite rapid advances in speech recognition, current models remain brittle to superficial perturbations to their inputs. Small amounts of noise can destroy the performance of an otherwise state-of-the-art model. To harden models against background noise, practitioners often perform data augmentation, adding artificially-noised examples to the training set, carrying over the original label. In this paper, we hypothesize that a clean example and its superficially perturbed counterparts shouldn't merely map to the same class --- they should map to the same representation. We propose invariant-representation-learning (IRL): At each training iteration, for each training example,we sample a noisy counterpart. We then apply a penalty term to coerce matched representations at each layer (above some chosen layer). Our key results, demonstrated on the Librispeech dataset are the following: (i) IRL significantly reduces character error rates (CER) on both 'clean' (3.3% vs 6.5%) and 'other' (11.0% vs 18.1%) test sets; (ii) on several out-of-domain noise settings (different from those seen during training), IRL's benefits are even more pronounced. Careful ablations confirm that our results are not simply due to shrinking activations at the chosen layers.

연구 동기 및 목표

• 작은 변형조차도 성능을 심각하게 떨어뜨리는 최신 음성 인식 모델의 취약성 문제를 해결한다.
• 표준 데이터 증강 기법의 한계를 극복한다. 이는 클래스 수준의 불변성은 유도하지만 표현 수준의 불변성은 보장하지 못한다.
• 동일한 입력에 대해 깨끗한 버전과 노이즈가 첨가된 버전의 은닉 표현을 동일하게 유지하도록 하는 방법을 개발함으로써, 추론 속도를 저하시키지 않은 채 강인성을 향상시킨다.
• 표현 수준의 불변성이 로짓 수준의 불변성이나 표준 정규화 기법보다 더 강한 일반화 성능을 제공함을 입증한다.

제안 방법

• 모든 훈련 반복 과정에서, 각 깨끗한 입력에 대해 MUSAN에서 가져온 무작위 노이즈 스니펫을 무작위 볼륨으로 원본 웨이브폼에 첨가하여 노이즈가 첨가된 복사본을 합성한다.
• 모델은 깨끗한 입력과 노이즈가 첨가된 입력을 동일한 네트워크를 통해 처리하여 각 레이어에서 은닉 표현을 생성한다.
• 청각적 표현 간 L2 거리와 코사인 유사도를 최소화하도록 정규화 손실을 적용한다.
• 총 손실는 예측에 대한 표준 교차 엔트로피 손실과 표현 불변성 페널티를 조합하여 구성되며, 이는 네트워크가 노이즈에 강인한 특징을 학습하도록 유도한다.
• 불변성 페널티는 선택된 레이어(예: 인코더 레이어) 이상에서만 적용되며, 이는 초기 레이어가 입력 변형에 민감하게 유지되도록 한다.
• IRL의 효과를 분리하기 위해 언어 모델 없이 시퀀스-투-시퀀스 모델과 교차 엔트로피 손실을 사용하여 Librispeech에서 평가한다.

Figure 1 : Diagram demonstrating the various terms in the IRL loss function as applied to a Seq2Seq attention model. Dotted lines represent shared weights.

실험 결과

연구 질문

• RQ1 깨끗한 음성과 노이즈가 첨가된 음성 입력에 대해 동일한 은닉 표현을 강제로 만드는 것이 음성 인식의 강인성을 향상시키는가?
• RQ2 표현 수준의 불변성이 로짓 수준의 불변성 또는 표준 데이터 증강 기법보다 도메인 외부 노이즈를 다룰 때 더 나은 성능을 내는가?
• RQ3 IRL의 성능 향상 원인이 활성화 값의 축소 때문인지, 실제 표현 정렬 때문인지?
• RQ4 다양한 노이즈 조건 하에서 IRL은 적대적 훈련 및 기타 정규화 기법과 비교해 일반화 성능에서 어떤가?

주요 결과

• IRL은 Librispeech 테스트-클린 세트에서 CER을 3.3%로 줄였고, 베이스라인의 6.5% 대비 49%의 상대적 향상률을 기록하였다. 테스트-오더 세트에서는 CER이 11.0%로 베이스라인의 18.1% 대비 40%의 상대적 향상률을 기록하였다.
• 리버버브레이션과 같은 도메인 외부 노이즈 조건에서는 IRL-C가 CER 13.8%를 기록한 반면, 데이터 증강 모델은 21.0%, 베이스라인은 24.1%를 기록하여 강력한 강인성 향상을 입증하였다.
• 겹치는 말소리 노이즈 조건에서는 IRL-C가 CER 14.1%를 기록하였고, 베이스라인(91.5%)과 데이터 증강 모델(32.0%)을 크게 앞서며 뚜렷한 성능 향상을 보였다.
• 낮은 신호 대 잡음비(SNR) 조건에서는 IRL-C가 CER 5.7%를 기록하였고, 베이스라인은 10.8%, 데이터 증강 모델은 27.8%를 기록하였다.
• 다시 샘플링된 전화 통신 데이터에 대해서도 IRL 모델은 CER 6.4%를 유지하였고, 베이스라인(14.2%)과 데이터 증강 모델(12.2%)에 비해 뛰어난 성능을 보였다.
• 실증 분석을 통해 IRL은 깨끗한 표현과 노이즈가 첨가된 표현 간 L2 거리와 코사인 유사도를 모두 감소시키며, IRL-C는 인코더 레이어 이후에도 모든 레이어에서 근접한 정렬을 유지하는 반면, IRL-E는 인코더 레이어 이후로 발산하는 것으로 확인되었다.

(a) L2 distance