[논문 리뷰] Deep context: end-to-end contextual speech recognition

Golan Pundak, Tara N. Sainath외 3명|arXiv (Cornell University)|2018. 08. 07.

Speech Recognition and Synthesis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 외부 재평가 없이도 동적이고 맥락 인식 가능한 음성 인식을 가능하게 하는 엔드 투 엔드 신경망 ASR 모델인 Contextual-LAS(CLAS)을 제안한다. CLAS는 학습된 맥락 어휘의 임베딩을 함께 최적화하여, 외부 어휘 모델과 별도로 학습된 언어 모델에 의존하지 않고도 맥락 통합을 실현한다. OOV가 많은 데이터셋에서 기존 얕은 융합 방법보다 최대 68%의 상대적 WER 감소를 달성하며, OOV 어휘어도 지원하고 하이퍼파라미터 튜닝이 필요 없음을 보여준다.

ABSTRACT

In automatic speech recognition (ASR) what a user says depends on the particular context she is in. Typically, this context is represented as a set of word n-grams. In this work, we present a novel, all-neural, end-to-end (E2E) ASR sys- tem that utilizes such context. Our approach, which we re- fer to as Contextual Listen, Attend and Spell (CLAS) jointly- optimizes the ASR components along with embeddings of the context n-grams. During inference, the CLAS system can be presented with context phrases which might contain out-of- vocabulary (OOV) terms not seen during training. We com- pare our proposed system to a more traditional contextualiza- tion approach, which performs shallow-fusion between inde- pendently trained LAS and contextual n-gram models during beam search. Across a number of tasks, we find that the pro- posed CLAS system outperforms the baseline method by as much as 68% relative WER, indicating the advantage of joint optimization over individually trained components. Index Terms: speech recognition, sequence-to-sequence models, listen attend and spell, LAS, attention, embedded speech recognition.

연구 동기 및 목표

• 기존 ASR 시스템이 맥락 통합을 위해 별도로 학습된 언어 모델과 외부 재평가 기법에 의존하는 한계를 해결하기 위해.
• 음성, 언어, 맥락 요소를 함께 최적화하는 엔드 투 엔드, 전면 신경망 프레임워크를 개발하여 성능을 향상시키기 위해.
• 학습 시 맥락 어휘어에 대한 사전 지식이 없어도 맥락 인식 음성 인식에서 OOV 어휘어의 효과적인 인식을 가능하게 하기 위해.
• 대량의 맥락 어휘어를 처리할 때 성능이 저하되는 표준 어텐션 기반 맥락 모델링의 확장성 문제를 해결하기 위해.

제안 방법

• CLAS는 청취-주의-스펠(LAS) 아키텍처를 확장하여, 공유 임베딩 레이어를 사용해 입력 맥락 어휘어를 고정 차원의 벡터로 임베딩하는 맥락 인코더를 도입한다.
• 맥락 임베딩은 각 디코딩 단계에서 맥락 표현에 대해 어텐션 메커니즘을 통해 처리되며, 동적으로 디코더의 예측을 조정한다.
• ASR와 맥락 모델링을 함께 최적화하는 통합 목표함수를 사용해 엔드 투 엔드로 학습되며, 외부 재평가 없이도 맥락 의존적 표현을 학습할 수 있다.
• 확장성을 위해 논문은 편향 조건화 기법을 도입하여 맥락 어휘어를 접두사와 접미사로 분할함으로써 고유한 맥락 세그먼트 수를 줄이고 임베딩 상관관계를 최소화한다.
• 추론 시 가변 길이의 맥락 어휘어를 지원하며, 서브워드 유닛에서 유도된 표현을 통해 OOV 어휘어를 학습함으로써 처리할 수 있다.
• 모델의 어텐션 메커니즘에 맥락을 직접 통합함으로써 재평가 가중치 수동 조정이 필요 없어진다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망 모델이 기존 얕은 융합 방법보다 음성 인식과 맥락 인식 언어 모델링을 더 효과적으로 함께 최적화할 수 있는가?
• RQ2 OOV 어휘어가 존재할 경우, 증가하는 맥락 어휘어 수에 따라 공동 학습된 맥락 인식 ASR 모델의 성능는 어떻게 변화하는가?
• RQ3 맥락 어휘어의 수가 많아질 경우 어텐션 기반 맥락 모델링의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 편향 조건화 기법은 정확도를 손상시키지 않고 맥락 인식 ASR 모델의 확장성을 향상시킬 수 있는가?

주요 결과

• CLAS는 OOV 비율이 높은 Songs 및 Contacts 테스트 세트에서 기존 LAS + OTF 재평가 기반 베이스라인 대비 최대 68%의 상대적 WER 감소를 기록한다.
• Songs 테스트 세트에서 CLAS는 WER 6.9%를 달성했고, LAS + OTF 재평가 기반 베이스라인은 9.4%였으며, OOV가 많은 환경에서 뚜렷한 성능 향상을 보였다.
• 수천 개의 맥락 어휘어를 포함한 Talk-To 세트에서는 표준 CLAS가 맥락 임베딩 간 높은 상관관계로 인해 성능이 저하되어 WER 14%를 기록했다.
• 편향 조건화 기법은 고유한 맥락 세그먼트 수를 3,255개에서 225개로 줄였고, 총 어휘어 세그먼트 수는 10%만 증가시켜 확장성에 크게 기여했다.
• 편향 조건화 기법과 OTF 재평가를 결합하면 Talk-To 세트에서 WER가 5.6%로 감소하여, 단독 CLAS 및 LAS + OTF 베이스라인을 모두 능가했다.
• 제거 실험 결과, 편향 조건화와 OTF 재평가 모두 CLAS 성능 향상에 독립적으로 기여하며, 함께 사용할 경우 가장 높은 성능 향상을 기록했다.