[논문 리뷰] Model Unit Exploration for Sequence-to-Sequence Speech Recognition.

Kazuki Irie, Rohit Prabhavalkar외 4명|arXiv (Cornell University)|2019. 02. 05.

Topic Modeling참고 문헌 18인용 수 14

한 줄 요약

이 논문은 주로 어텐션 기반 인코더-디코더 모델에서 사용되는 단위의 모델링을 조사하며, 라이브리스피치 100시간, 460시간, 960시간 데이터셋에서 어휘사전이나 언어모델 없이도 그래프먼과 워드피ece 모델이 발음기호 기반 모델보다 우수한 성능을 보임을 발견한다. 또한 강력한 워드피ece 모델에서 생성한 N-best 후보 목록을 발음기호 또는 그래프먼 모델로 재평가함으로써 WER를 최대 9% 상대적으로 감소시킬 수 있음을 보여주며, 이는 더 다양한 후보 생성 덕분이다.

ABSTRACT

In conventional speech recognition, phoneme-based models outperform grapheme-based models for non-phonetic languages such as English. The performance gap between the two typically reduces as the amount of training data is increased. In this work, we examine the impact of the choice of modeling unit for attention-based encoder-decoder models. We conduct experiments on the LibriSpeech 100hr, 460hr, and 960hr tasks, using various target units (phoneme, grapheme, and word-piece); across all tasks, we find that grapheme or word-piece models consistently outperform phoneme-based models, even though they are evaluated without a lexicon or an external language model. We also investigate model complementarity: we find that we can improve WERs by up to 9% relative by rescoring N-best lists generated from a strong word-piece based baseline with either the phoneme or the grapheme model. Rescoring an N-best list generated by the phonemic system, however, provides limited improvements. Further analysis shows that the word-piece-based models produce more diverse N-best hypotheses, and thus lower oracle WERs, than phonemic models.

연구 동기 및 목표

• 어텐션 기반 인코더-디코더 음성인식 모델에서 발음기호, 그래프먼, 워드피ece 단위의 영향을 평가하기 위해.
• 외부 언어모델이나 어휘사전 없이 대규모 학습 데이터를 사용할 경우 단위 간 성능 차이가 여전히 유지되는지 확인하기 위해.
• 다른 모델로 N-best 후보 목록을 재평가하여 성능 향상을 도모하고, 모델 간 상호보완성의 가능성을 탐색하기 위해.
• 다양한 모델링 단위에서 생성된 N-best 후보 목록의 다양성과 그 영향을 분석하여 오라클 WER를 평가하기 위해.

제안 방법

• 라이브리스피치 100시간, 460시간, 960시간 데이터셋에서 어텐션 기반 인코더-디코더 모델을 발음기호, 그래프먼, 워드피ece 단위로 학습하기 위해.
• 외부 언어모델이나 어휘사전 없이 모든 모델을 평가하여 모델링 단위의 영향을 고립적으로 분석하기 위해.
• 각 모델에서 생성한 N-best 후보 목록을 다른 모델로 재평가하여 상호보완성의 정도를 평가하기 위해.
• 다양한 모델링 단위에서 생성된 N-best 후보 목록의 다양성과 질을 평가하기 위해 오라클 WER를 측정하기 위해.
• N-best 후보 목록의 분포와 다양성을 분석하여 성능 차이의 원인을 설명하기 위해.

실험 결과

연구 질문

• RQ1 외부 언어모델이나 어휘사전 없이 어텐션 기반 순차-순차 음성인식에서 그래프먼 또는 워드피ece 모델이 발음기호 기반 모델보다 우수한가?
• RQ2 강력한 워드피ece 모델에서 생성한 N-best 후보 목록을 발음기호 또는 그래프먼 모델로 재평가하면 WER가 유의미하게 감소하는가?
• RQ3 재평가로 얻는 성능 향상은 기반 모델의 종류에 따라 달라지는가?
• RQ4 워드피ece, 그래프먼, 발음기호 모델 간 N-best 후보 목록의 다양성은 어떻게 다른가? 그리고 그 다양성은 오라클 WER에 어떤 영향을 미치는가?

주요 결과

• 그래프먼 및 워드피ece 모델은 외부 어휘사전이나 언어모델 없이도 모든 라이브리스피치 데이터 스케일에서 발음기호 기반 모델을 일관되게 능가한다.
• 강력한 워드피ece 모델에서 생성한 N-best 후보 목록을 발음기호 또는 그래프먼 모델로 재평가함으로써 WER가 최대 9% 상대적으로 감소한다.
• 발음기호 모델에서 생성한 후보 목록을 재평가하면 성능 향상이 제한적이며, 이는 상호보완성이 약하다는 것을 시사한다.
• 워드피ece 기반 모델은 발음기호 기반 모델보다 더 다양한 N-best 후보 목록을 생성하며, 이는 더 낮은 오라클 WER로 이어진다.
• 학습 데이터가 많아질수록 발음기호와 그래프먼/워드피iece 모델 간 성능 격차는 줄어들지만, 그래프먼/워드피iece 모델은 여전히 우수한 성능을 유지한다.