[논문 리뷰] Long-span language modeling for speech recognition

Sarangarajan Parthasarathy, William A. Gale외 3명|arXiv (Cornell University)|2019. 11. 11.

Speech Recognition and Synthesis참고 문헌 23인용 수 8

한 줄 요약

이 논문은 문장 수준의 텍스트를 초월한 장거리 맥락을 활용하여 음성 인식 성능을 향상시키기 위해 단락 수준의 텍스트로 신경망 언어 모델(LSTM, Transformer, 그리고 LSTM-attention 하이브리드)을 훈련시키는 것을 제안한다. 연속된 단락 시퀀스로 훈련함으로써 퍼플렉서티가 약 20% 감소하고, 아키텍처 수정 없이 문장 간 종속성을 암묵적으로 포착함으로써 두 번째 단계 재순서 정렬에서 WER이 4–9% 상대적으로 감소함을 입증한다.

ABSTRACT

We explore neural language modeling for speech recognition where the context spans multiple sentences. Rather than encode history beyond the current sentence using a cache of words or document-level features, we focus our study on the ability of LSTM and Transformer language models to implicitly learn to carry over context across sentence boundaries. We introduce a new architecture that incorporates an attention mechanism into LSTM to combine the benefits of recurrent and attention architectures. We conduct language modeling and speech recognition experiments on the publicly available LibriSpeech corpus. We show that conventional training on a paragraph-level corpus results in significant reductions in perplexity compared to training on a sentence-level corpus. We also describe speech recognition experiments using long-span language models in second-pass re-ranking, and provide insights into the ability of such models to take advantage of context beyond the current sentence.

연구 동기 및 목표

• 신경망 언어 모델이 단어 수준의 텍스트 훈련을 통해 문장 경계를 초월한 장거리 맥락을 암묵적으로 학습하고 활용할 수 있는지 조사하기 위해.
• 표준 신경망 언어 모델 아키텍처(LSTM, Transformer, 그리고 LSTM-attention 변종)에 대해 단락 수준의 훈련이 얼마나 효과적인지 평가하기 위해.
• 특수한 아키텍처 수정 없이도 또는 외부 맥락 주입 없이도 퍼플렉서티와 단어 오류율(WER)을 감소시킬 수 있는지 판단하기 위해.
• 언어 모델링 및 음성 인식 작업에서 문장 수준과 단락 수준의 언어 모델링 간 성능을 비교하기 위해.

제안 방법

• 문장 경계 토큰을 사용해 문장을 연결하여 단락 수준의 코퍼스로 표준 LSTM, Transformer, 그리고 새로운 LSTM-attention 모델을 훈련한다.
• 자기 정규화 확률 추정을 가능하게 하기 위해 훈련 중에 노이즈 대비 추정(NCE) 손실을 사용한다.
• 장거리 시퀀스 맥락 표현을 향상시키기 위해 LSTM 은닉 상태에 다중 헤드 도트-프로덕트 어텐션을 통합한다.
• 장거리 시퀀스에서 위치 인식 능력을 향상시키기 위해 Transformer 모델에 상대적 위치 임베딩을 적용한다.
• n-best 가설을 사용해 음성 인식에서 두 번째 단계 재순서 정렬을 수행하고, 문장 수준 및 단락 수준 언어 모델을 모두 사용해 점수를 매긴다.
• 교차 엔트로피와 WER 메트릭을 사용해 퍼플렉서티와 WER를 계산하며, 참조 번역문을 n-best 목록에 추가해 맥락 효과를 고립시킨다.

실험 결과

연구 질문

• RQ1 단락 수준의 텍스트로 훈련된 신경망 언어 모델이 문장 수준을 초월한 맥락을 암묵적으로 학습하고 활용할 수 있는가?
• RQ2 문장 수준 훈련과 비교했을 때 단락 수준 언어 모델링이 음성 인식에서 퍼플렉서티와 단어 오류율(WER)에 어떤 영향을 미치는가?
• RQ3 LSTM, Transformer, LSTM-attention 등 서로 다른 아키텍처가 언어 모델링 및 ASR에서 장거리 맥락을 얼마나 잘 활용하는가?
• RQ4 검색 오류가 없는 조건에서 재순서 정렬에 단락 수준 맥락을 사용할 경우 WER이 유의미하게 감소하는가?

주요 결과

• 모든 모델 아키텍처에서 문장 수준 훈련 대비 단락 수준 언어 모델링이 퍼플렉서티를 약 20% 감소시킴을 확인함.
• LSTM-attention 모델이 재순서 정렬에서 가장 높은 WER 감소를 기록했으며, dev-other에서 단락 맥락을 사용할 경우 9% 상대적 향상이 있었음.
• dev-clean에서 LSTM-para 모델은 이전 문장의 맥락이 제공될 경우 WER을 5.68에서 4.79로 감소시켜 강력한 장거리 종속성 학습 능력을 보임.
• 명시적인 맥락 주입 없이도 단락 수준 모델이 문장 수준 모델보다 WER에서 우수한 성능을 보이며, 장거리 맥락이 훈련 데이터의 구조를 통해 암묵적으로 학습될 수 있음을 입증함.
• 결과적으로 아키텍처 수정 없이도 단락 수준 데이터로의 훈련이 성능 향상에 기여함을 보여주며, 데이터 수준의 재구성만으로도 상당한 성능 향상이 가능함을 시사함.