[논문 리뷰] LSTM-LM with Long-Term History for First-Pass Decoding in Conversational Speech Recognition

Xie Chen, Sarangarajan Parthasarathy외 3명|arXiv (Cornell University)|2020. 10. 21.

Speech Recognition and Synthesis참고 문헌 28인용 수 4

한 줄 요약

이 논문은 대화형 음성인식에서 WFST 디코더를 사용하여 첫 번째 단계 디코딩 중 이전 발화로부터의 장기적 맥락을 LSTM 언어모델(LSTM-LM)에 통합하는 방법을 제안한다. LSTM-LM이 발화 간에 은닉 상태를 유지할 수 있는 능력을 활용함으로써, 두 번째 단계 재평가보다 단단히 향상된 단어 오류율(WER)을 달성하며, 전체 이전 발화 맥락을 사용할 경우 상대적 4.3%의 WER 감소를 이룬다.

ABSTRACT

LSTM language models (LSTM-LMs) have been proven to be powerful and yielded significant performance improvements over count based n-gram LMs in modern speech recognition systems. Due to its infinite history states and computational load, most previous studies focus on applying LSTM-LMs in the second-pass for rescoring purpose. Recent work shows that it is feasible and computationally affordable to adopt the LSTM-LMs in the first-pass decoding within a dynamic (or tree based) decoder framework. In this work, the LSTM-LM is composed with a WFST decoder on-the-fly for the first-pass decoding. Furthermore, motivated by the long-term history nature of LSTM-LMs, the use of context beyond the current utterance is explored for the first-pass decoding in conversational speech recognition. The context information is captured by the hidden states of LSTM-LMs across utterance and can be used to guide the first-pass search effectively. The experimental results in our internal meeting transcription system show that significant performance improvements can be obtained by incorporating the contextual information with LSTM-LMs in the first-pass decoding, compared to applying the contextual information in the second-pass rescoring.

연구 동기 및 목표

• 대화형 음성인식에서 첫 번째 단계 디코딩 중 이전 발화로부터의 장기적 맥락을 사용하는 것이 타당하고 효과적인지 조사하는 것.
• n-gram 언어모델이 단기적 이력을 모델링하고 첫 번째 단계 디코딩에서 탐색 공간을 제한하는 한계를 극복하는 것.
• LSTM-LM이 두 번째 단계 재평가 외에도 첫 번째 단계 디코딩 중에 발화 간 맥락을 효과적으로 활용할 수 있는지 탐색하는 것.
• WER과 탐색 공간 품질에 중점을 두어, 맥락 통합이 첫 번째 단계 디코딩과 두 번째 단계 재평가 간에 성능에 미치는 영향을 비교하는 것.
• 기준(transcription) 기반 맥락과 가설(hypothesis) 기반 맥락의 영향을 평가하고 문장 경계 토큰이 맥락 모델링에서 수행하는 역할을 분석하는 것.

제안 방법

• 연구는 실시간 첫 번째 단계 디코딩에서 LSTM-LM을 통합하기 위해 WFST 디코더를 사용하여 장기적 맥락을 동적으로 레이티스 생성할 수 있도록 한다.
• LSTM-LM은 발화 수준의 번역문으로 훈련되지만, 발화 간에 은닉 상태를 유지하여 장기적 의존성을 모델링한다.
• 이전 발화의 은닉 상태를 현재 디코딩 과정에 공급함으로써 이전 발화의 맥락을 통합한다.
• 기준 번역문과 이전 발화의 가설 출력을 모두 맥락으로 사용하여 맥락 품질에 대한 분석을 가능하게 한다.
• 모델링의 일관성에 미치는 영향을 평가하기 위해 문장 경계 토큰(<s>)을 맥락에서 선택적으로 제거한다.
• 동일한 n-best 목록을 사용하여 첫 번째 단계 디코딩과 두 번째 단계 재평가를 비교함으로써 공정한 성능 평가를 보장한다.

실험 결과

연구 질문

• RQ1 LSTM-LM은 대화형 음성인식에서 첫 번째 단계 디코딩 중에 이전 발화로부터의 장기적 맥락을 효과적으로 활용할 수 있는가?
• RQ2 첫 번째 단계 디코딩에 발화 간 맥락을 통합하면, 동일한 맥락을 두 번째 단계 재평가에 적용하는 것보다 더 낮은 WER를 달성하는가?
• RQ3 맥락 품질(기준 대비 가설)이 LSTM-LM을 사용한 첫 번째 단계 디코딩 성능에 어떤 영향을 미치는가?
• RQ4 최대 WER 향상 효과를 얻기 위해 최적의 이전 발화 수는 몇 개인가?
• RQ5 맥락에 문장 경계 토큰이 존재할 경우, LSTM-LM의 첫 번째 단계 디코딩 성능은 향상되는가, 악화되는가?

주요 결과

• 기준 이력 전체를 사용한 첫 번째 단계 디코딩에서 WER는 15.51%로 감소하였으며, 맥락이 없는 기준 모델 대비 상대적 4.3% 향상되었다.
• 다양한 이전 발화 수에 대해 맥락 통합으로 인한 WER 향상은 일관되었으며, 두 개 이상의 이전 발화를 초과하면 이득이 미미했다.
• 맥락을 통합한 첫 번째 단계 디코딩은 두 번째 단계 재평가를 0.3–0.4% 절대적 WER로 능가했으며, 이는 n-gram 언어모델의 n-best 목록이 정답 경로를 조기에 잘라내기 때문임을 시사한다.
• 기준 기반 맥락 사용이 가설 기반 맥락 사용보다 성능이 뛰어났지만, 격차는 미미(1% 미만 상대적)하여 오류에 대해 뛰어난 내성성을 보였다.
• 문장 경계 토큰(<s>)을 맥락에서 제거하면 약간이지만 일관된 WER 향상이 발생했으며, 이는 경계 토큰이 장기적 일관성 모델링에 간섭할 수 있음을 시사한다.
• LSTM-LM의 퍼플렉서티(PPL)는 이력이 없을 때 96.9에서 4개의 이전 발화를 포함할 경우 81.4로 감소하여 맥락이 있는 경우 언어 모델링이 향상되었음을 확인했다.