[논문 리뷰] Transformer Language Models with LSTM-based Cross-utterance Information Representation

Guangzhi Sun, C. Zhang외 1명|arXiv (Cornell University)|2021. 02. 12.

Speech Recognition and Synthesis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 자동 음성 인식을 위한 다자간 문맥 표현을 향상시키기 위해 LSTM 모듈을 통합한 Transformer 언어 모델인 R-TLM을 제안한다. 선택된 Transformer 블록에서 세그먼트 단위의 반복성과 LSTM 은닉 상태를 통합하고, 잔차 연결을 위한 융합 레이어를 사용함으로써 R-TLM은 단일 문장 TLM 대비 0.9–0.8%의 절대 WER 감소를 달성했으며, 강력한 다자간 기반 모델 대비 0.5–0.2%의 절대 WER 감소를 기록했다. AMI, Eval2000, RT03 데이터셋에서 유의미한 검정을 통해 개선 사항이 확인되었다.

ABSTRACT

The effective incorporation of cross-utterance information has the potential to improve language models (LMs) for automatic speech recognition (ASR). To extract more powerful and robust cross-utterance representations for the Transformer LM (TLM), this paper proposes the R-TLM which uses hidden states in a long short-term memory (LSTM) LM. To encode the cross-utterance information, the R-TLM incorporates an LSTM module together with a segment-wise recurrence in some of the Transformer blocks. In addition to the LSTM module output, a shortcut connection using a fusion layer that bypasses the LSTM module is also investigated. The proposed system was evaluated on the AMI meeting corpus, the Eval2000 and the RT03 telephone conversation evaluation sets. The best R-TLM achieved 0.9%, 0.6%, and 0.8% absolute WER reductions over the single-utterance TLM baseline, and 0.5%, 0.3%, 0.2% absolute WER reductions over a strong cross-utterance TLM baseline on the AMI evaluation set, Eval2000 and RT03 respectively. Improvements on Eval2000 and RT03 were further supported by significance tests. R-TLMs were found to have better LM scores on words where recognition errors are more likely to occur. The R-TLM WER can be further reduced by interpolation with an LSTM-LM.

연구 동기 및 목표

• 더 나은 자동 음성 인식(ASR) 성능을 위해 Transformer 언어 모델의 다자간 문맥 모델링을 향상시키기.
• 특히 드문 단어나 오류가 발생하기 쉬운 단어에 대해 장거리 의존성을 견고하게 표현하지 못하는 표준 TLM의 한계를 해결하기.
• LSTM과 Transformer 아키텍처의 상호보완적 강점을 활용하기 위해, 선택적 Transformer 블록에 LSTM 은닉 상태를 통합함으로써 연구하기.
• R-TLM 아키텍처의 효과성을 표준 ASR 벤치마크(AMI, Eval2000, RT03 포함)에서 평가하기.
• R-TLM를 별도의 LSTM-LM과 조합함으로써 WER를 추가로 감소시킬 수 있는지 탐색하기.

제안 방법

• R-TLM 아키텍처는 일부 Transformer 블록에 단일층 LSTM 모듈을 통합하여 문장 세그먼트 간의 반복성을 가능하게 한다.
• LSTM 모듈은 문장 경계를 초월해 은닉 상태를 유지함으로써, 자기주의 주의만으로는 완전히 모델링되지 않는 장거리 의존성을 포착한다.
• 융합 레이어를 도입하여 LSTM 출력을 Transformer 블록 입력과 결합함으로써 단순 연결을 통해 기울기 흐름을 유지하고 표현 학습을 향상시킨다.
• Transformer-XL에서 유래한 세그먼트 단위의 반복성을 사용하여 단일 문장 범위를 초월한 문맥을 연장함으로써, 모델이 이전 세그먼트를 참조할 수 있도록 한다.
• 대규모 전사 대화 데이터를 기반으로 엔드 투 엔드로 학습되며, LSTM 상태와 확장된 주의 범위를 통해 다자간 문맥이 명시적으로 인코딩된다.
• 최종적으로 WER 향상은 외부 LSTM-LM과의 조합을 통해 달성되며, 양 아키텍처의 강점을 결합한다.

실험 결과

연구 질문

• RQ1 선택된 Transformer 블록에 LSTM 모듈을 통합함으로써 언어 모델의 다자간 문맥 표현이 ASR 성능 향상에 기여하는가?
• RQ2 Transformer-XL에서 유래한 세그먼트 단위의 반복성과 LSTM 기반 은닉 상태 반복성의 조합이 장거리 의존성을 더 견고하게 모델링하는가?
• RQ3 표준 평가 세트에서 R-TLM을 강력한 TLM 기반 모델과 비교했을 때 WER 향상이 통계적으로 유의미한가?
• RQ4 오류가 발생하기 쉬운 단어에 대해 R-TLM이 더 낮은 LM 점수를 기록함으로써, 청취 오류에 더 강건한가?
• RQ5 R-TLM를 별도의 LSTM-LM과 조합함으로써 추가로 WER 감소를 달성할 수 있는가?

주요 결과

• AMI, Eval2000, RT03 평가 세트에서 R-TLM는 단일 문장 TLM 기반 모델 대비 각각 0.9%, 0.6%, 0.8%의 절대 WER 감소를 달성했다.
• 동일한 세트에서 R-TLM는 강력한 다자간 TLM 기반 모델 대비 각각 0.5%, 0.3%, 0.2%의 절대 WER 감소를 기록했으며, Eval2000 및 RT03에서의 개선 사항은 유의미성 검정(p < 0.05)으로 확인되었다.
• 오디오 오류로 인해 잘못 인식된 단어로 정의된 오류 발생 단어에 대해 R-TLM는 더 낮은 LM 점수(더 나은 언어 모델링)를 기록하여 청취 오류에 대한 강건성을 보였다.
• 확장된 역사 기반 TLM(XL)는 R-TLM보다 낮은 퍼플렉서티(PPL)를 보였지만 더 높은 WER를 기록했으며, 이는 R-TLM가 유사한 PPL을 유지하면서도 드문 단어나 오류 발생 단어를 더 잘 모델링함을 시사한다.
• 융합 레이어와 세그먼트 단위의 반복성을 갖춘 R-TLM(XL)는 RT03에서 통계적으로 유의미한 WER 향상(p = 0.001)을 달성하여, 이 방법의 견고성을 확인했다.
• R-TLM를 별도의 LSTM-LM과 조합함으로써 추가로 WER 감소를 달성했으며, RT03에서 최저 WER 11.8%를 기록하여, 두 아키텍처의 상호보완적 이점을 입증했다.