[논문 리뷰] Data Augmentation for Training Dialog Models Robust to Speech Recognition Errors

Longshaokan Wang, Maryam Fazel-Zarandi외 3명|arXiv (Cornell University)|2020. 06. 10.

Topic Modeling참고 문헌 14인용 수 4

한 줄 요약

이 논문은 청소년 어휘 오류를 시뮬레이션하기 위해 혼동행렬 기반 오류 시뮬레이터를 사용하는 데이터 증강 방법을 제안하며, 이는 자동 음성 인식(ASR) 오류에 대한 대화 모델의 강건성을 향상시킨다. 이 방법은 모델 아키텍처를 수정하거나 추론 지연을 유발하지 않으면서도 성능을 향상시킨다 — 특히 자원이 제한된 환경에서 효과적이다.

ABSTRACT

Speech-based virtual assistants, such as Amazon Alexa, Google assistant, and Apple Siri, typically convert users' audio signals to text data through automatic speech recognition (ASR) and feed the text to downstream dialog models for natural language understanding and response generation. The ASR output is error-prone; however, the downstream dialog models are often trained on error-free text data, making them sensitive to ASR errors during inference time. To bridge the gap and make dialog models more robust to ASR errors, we leverage an ASR error simulator to inject noise into the error-free text data, and subsequently train the dialog models with the augmented data. Compared to other approaches for handling ASR errors, such as using ASR lattice or end-to-end methods, our data augmentation approach does not require any modification to the ASR or downstream dialog models; our approach also does not introduce any additional latency during inference time. We perform extensive experiments on benchmark data and show that our approach improves the performance of downstream dialog models in the presence of ASR errors, and it is particularly effective in the low-resource situations where there are constraints on model size or the training data is scarce.

연구 동기 및 목표

• 학습 시 오류 없는 텍스트로 훈련되지만 추론 시 ASR 오류에 민감한 대화 모델의 문제를 해결한다.
• ASR 레이티스 접근이 필요하거나 모델 재학습 또는 추가 추론 지연을 요구하는 기존 방법의 한계를 극복한다.
• 제한된 훈련 데이터 또는 제약된 모델 크기로 인해 자원이 부족한 상황에서도 ASR 오류에 대한 강건성을 확보한다.
• 기존 대화 모델 및 ASR 시스템과 호환되는 즉시 사용 가능한 데이터 증강 솔루션을 개발한다.
• 소형 및 경량 모델을 포함한 다양한 모델 아키텍처에서의 효과성을 입증한다.

제안 방법

• 청소본 참조 텍스트에 일반적인 어절 수준의 오류를 주입하여 혼동행렬 기반 ASR 오류 시뮬레이터를 사용해 합성된 ASR 가설을 생성한다.
• 정렬된 ASR 가설과 참조 텍스트로부터 n-그램 혼동행렬을 구성하여 빈번한 단어 대체 및 오류를 모델링한다.
• 훈련 중에 오류 시뮬레이터를 적용하여 실제 ASR 유사 변형을 가진 청소본 텍스트 데이터를 증강한다.
• 의도 분류 등의 최종 대화 모델을 원본 데이터와 증강된 데이터 모두로 훈련시켜 강건성을 향상시킨다.
• 모델 아키텍처와 추론 파이프라인을 그대로 유지하여 추론 시 지연 증가를 방지한다.
• 기존 ASR 가설이 있는지 여부에 관계없이 적용 가능하게 하여 다양한 훈련 데이터 소스에 광범위하게 적용 가능하도록 한다.

실험 결과

연구 질문

• RQ1 모의 ASR 오류 생성기를 사용한 데이터 증강이 실제 ASR 오류에 대한 대화 모델의 강건성 향상에 기여하는가?
• RQ2 제한된 훈련 데이터나 소형 모델 아키텍처에서 제안된 방법의 효과는 어떠한가?
• RQ3 경량 모델을 포함한 다양한 대화 모델 아키텍처에서 성능 향상이 유지되는가?
• RQ4 ASR 레이티스가 필요하거나 종단 간 통합이 요구되는 방법과 비교해 추론 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 음성 임베딩이나 다중 작업 학습과 같은 다른 기법과 조합하여 추가 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 데이터 증강 방법은 ASR 오류 하에서 대화 모델 성능을 크게 향상시키며, BERT를 사용해 1%의 데이터로 훈련할 경우 정확도가 20.18%p 향상된다.
• 간단한 신경망(Simple NN)의 경우 5%의 데이터로 훈련할 때 정확도가 35.20%p 향상되어 자료가 부족한 환경에서 뚜렷한 성과를 보인다.
• 경량 모델(GloVe + 1층 LSTM)의 경우 S1에서 3.89%p, S2에서 2.34%p의 정확도 향상을 기록하여 대규모 미리 학습된 임베딩이 없어도 효과적임을 입증한다.
• 성능 향상은 자원이 제한된 환경에서 가장 두드러지며, 가장 작은 훈련 서브셋에서 가장 큰 개선 효과를 보인다.
• 모델이 단순화되어도 성능 향상이 유지되어 지연이나 크기 제약이 있는 환경에 강력한 실용적 가치를 지닌다.
• 음성 임베딩이나 다중 작업 학습과 같은 다른 기법과의 조합이 상호보완적이므로, 향후 추가 성능 향상을 위한 잠재력이 있다.