[논문 리뷰] Cross-Utterance Language Models with Acoustic Error Sampling

Guangzhi Sun, Chao Zhang외 1명|arXiv (Cornell University)|2020. 08. 19.

Speech Recognition and Synthesis참고 문헌 37인용 수 5

한 줄 요약

이 논문은 기존의 자동 음성 인식(A SR) 모델의 성능을 향상시키기 위해 이웃 발화들에서의 맥락 정보를 통합하는 LSTM 기반 추출 네트워크를 사용하는 크로스-발화 언어 모델(CULM)을 제안한다. 이 모델은 최종 상태 또는 자기주의 어텐션 기반 인코딩 방식을 통해 맥락 벡터를 생성하며, 음성 오류 샘플링 기법을 도입하여 학습-테스트 불일치를 줄인다. 이로 인해 기준 LSTM 언어 모델 대비 AMI 평가 세트에서 0.6% 절대 WER 감소, Switchboard에서 0.3%, Callhome에서 0.9% 감소를 달성한다.

ABSTRACT

The effective exploitation of richer contextual information in language models (LMs) is a long-standing research problem for automatic speech recognition (ASR). A cross-utterance LM (CULM) is proposed in this paper, which augments the input to a standard long short-term memory (LSTM) LM with a context vector derived from past and future utterances using an extraction network. The extraction network uses another LSTM to encode surrounding utterances into vectors which are integrated into a context vector using either a projection of LSTM final hidden states, or a multi-head self-attentive layer. In addition, an acoustic error sampling technique is proposed to reduce the mismatch between training and test-time. This is achieved by considering possible ASR errors into the model training procedure, and can therefore improve the word error rate (WER). Experiments performed on both AMI and Switchboard datasets show that CULMs outperform the LSTM LM baseline WER. In particular, the CULM with a self-attentive layer-based extraction network and acoustic error sampling achieves 0.6% absolute WER reduction on AMI, 0.3% WER reduction on the Switchboard part and 0.9% WER reduction on the Callhome part of Eval2000 test set over the respective baselines.

연구 동기 및 목표

• 현재 발화를 넘어서 과거 및 향후 발화의 맥락 정보를 활용하여 자동 음성 인식(ASR) 성능을 향상시키는 것.
• 크로스-발화 언어 모델링에서 학습 시 참조 번역본을 사용하는 반면, 테스트 시 ASR 추론 결과를 사용하는 불일치 문제를 해결하는 것.
• 새로운 데이터 증강 기법을 통해 언어 모델의 일반화 능력과 ASR 오류에 대한 강건성을 향상시키는 것.
• 통합 학습 프레임워크 내에서 최종 상태 인코딩과 자기주의 어텐션 인코딩 방식을 포함한 다양한 맥락 벡터 추출 방법의 효과를 평가하는 것.

제안 방법

• CULM 아키텍처는 주 언어 모델(LSTM LM)과 보조 LSTM 인코더로 구성된 맥락 추출 네트워크를 결합하여, 주변 발화를 맥락 벡터로 인코딩한다.
• 맥락 벡터는 두 가지 방식으로 생성된다: (1) 각 세그먼트의 인코더 LSTM 최종 은닉 상태를 연결하여 완전 연결층을 통과시키는 방식, 또는 (2) 전체 인코더 출력 시퀀스에 다중 헤드 자기주의 어텐션 레이어를 적용한 후 투영하는 방식.
• 주 LSTM은 맥락 벡터를 보조 입력으로 사용하며, 단어 임베딩과 은닉 상태와 함께 결합하여 다음 단어의 확률 분포를 예측한다.
• 모델는 교차 엔트로피 손실을 사용하여 공동 최적화함으로써 주 언어 모델과 맥락 추출 구성 요소를 종합적으로 학습한다.
• 학습 중에 시뮬레이션된 ASR 오류(치환, 삽입, 삭제)를 맥락 발화에 주입함으로써 음성 오류 샘플링 기법을 도입하여 실제 디코딩 조건을 모방한다.
• 오류 분포는 ASR 시스템 출력 분석 파일에서 유도하여 더 현실적이고 효과적인 샘플링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이웃 발화의 맥락을 통합함으로써 기존의 자동 순차 언어 모델을 초월한 ASR 성능 향상을 달성할 수 있는가?
• RQ2 맥락 벡터 융합에 자기주의 어텐션 레이어를 사용할 경우, 단순한 최종 상태 인코딩 대비 더 나은 크로스-발화 종속성 파악이 가능한가?
• RQ3 음성 오류 샘플링 기법이 크로스-발화 모델링에서 학습 시 참조 맥락(정답)과 테스트 시 추론 기반 맥락 간 불일치를 어느 정도 줄이는가?
• RQ4 제안된 방법은 다양한 대화형 코퍼스에 대해 어떻게 일반화되는가? 특히 다양한 테스트 세트에서 WER 감소 성능은 어떠한가?

주요 결과

• 자기주의 어텐션 기반 맥락 인코딩과 음성 오류 샘플링을 적용한 CULM은 기준 LSTM 언어 모델 대비 AMI 평가 세트에서 0.6% 절대 WER 감소를 달성했다.
• Eval2000 테스트 세트의 Switchboard 부분에서 최고 성능을 기록한 시스템은 기준 모델 대비 0.3% 절대 WER 감소를 기록했다.
• Eval2000 테스트 세트의 Callhome 부분에서 제안된 방법은 0.9% 절대 WER 감소를 달성하여 더 도전적인 자연스러운 대화 음성에서 뛰어난 성능을 보였다.
• 음성 오류 샘플링 기법은 일반화 능력을 향상시켰으며, 자기주의 어텐션 CULM은 진짜 맥락을 사용할 때조차 샘플링이 없는 기준 모델을 능가하는 성능을 보였다. 이는 데이터 증강 효과를 의미한다.
• 오류 분석 결과, 자기주의 어텐션을 사용할 경우 특히 관련 맥락 단어에 주의를 기울여 시제 불일치, 단어 반복, 대명사 일致성 오류를 효과적으로 수정하는 것으로 나타났다.
• 가짜 퍼플리티(PPL) 결과는 일관된 향상을 보였다: 최고 성능 시스템은 AMI에서 55.3의 가짜-PPL, Callhome에서 16.9의 WER를 기록하여 언어 모델링 및 디코딩 성능 향상을 시사한다.