[논문 리뷰] A systematic comparison of grapheme-based vs. phoneme-based label units for encoder-decoder-attention models

Mohammad Zeineldeen, Albert Zeyer외 4명|arXiv (Cornell University)|2020. 05. 19.

Speech Recognition and Synthesis참고 문헌 49인용 수 5

한 줄 요약

이 논문은 엔드 투 엔드 음성 인식(ASR)을 위한 인코더-디코더-어텐션 모델에서 그래프음기반 및 파생음기반 레이블 단위를 체계적으로 비교한다. 파생음기반 모델링, 특히 파생음-BPE 서브워드 단위를 사용할 경우 경쟁적인 성능을 보이며, Switchboard에서는 약간 더 나은 성능을, LibriSpeech에서는 약간 열등한 성능을 보여, 최적의 성능을 내기 위해 서브워드 단위와 어휘 제약 조건이 중요하다는 점을 시사한다.

ABSTRACT

Following the rationale of end-to-end modeling, CTC, RNN-T or encoder-decoder-attention models for automatic speech recognition (ASR) use graphemes or grapheme-based subword units based on e.g. byte-pair encoding (BPE). The mapping from pronunciation to spelling is learned completely from data. In contrast to this, classical approaches to ASR employ secondary knowledge sources in the form of phoneme lists to define phonetic output labels and pronunciation lexica. In this work, we do a systematic comparison between grapheme- and phoneme-based output labels for an encoder-decoder-attention ASR model. We investigate the use of single phonemes as well as BPE-based phoneme groups as output labels of our model. To preserve a simplified and efficient decoder design, we also extend the phoneme set by auxiliary units to be able to distinguish homophones. Experiments performed on the Switchboard 300h and LibriSpeech benchmarks show that phoneme-based modeling is competitive to grapheme-based encoder-decoder-attention modeling.

연구 동기 및 목표

• 인코더-디코더-어텐션 모델을 사용한 엔드 투 엔드 ASR에서 레이블 단위 선택—그래프음 대비 파생음—의 영향을 조사하기 위해.
• 서브워드 단위(BPE)를 파생음과 그래프음에 적용하여 ASR의 강건성과 일반화 능력을 향상시키는 데 효과적인지 평가하기 위해.
• 동음어를 해소하고 디코딩 정확도를 향상시키기 위해 보조 레이블 단위(예: 단어 끝 파생음, EOW 기호)의 역할을 평가하기 위해.
• 특히 Switchboard(300시간)와 LibriSpeech(960시간) 간의 모델 행동을 비교하여 데이터 규모가 레이블 단위 성능에 미치는 영향을 이해하기 위해.
• 그래프음 기반 모델링 대비 파생음 기반 모델링이 어휘 외 단어나 발음 변형을 다룰 때 일반화 능력에서 우월한지 여부를 판단하기 위해.

제안 방법

• 단일 파생음, 파생음-BPE, 그래프음, 그래프음-BPE를 출력 레이블 단위로 사용하여 인코더-디코더-어텐션 ASR 모델을 학습시켰다.
• 최적의 성능을 위해 파생음 및 그래프음 시퀀스에 바이트-페어 인코딩(BPE)을 적용하여 서브워드 단위를 생성하였다.
• 동음어 해소 및 디코더 성능 향상을 위해 단어 끝(EOW) 기호와 단어 끝 파생음(# 기호)을 도입하였다.
• 모든 레이블 단위 유형에 대해 디코딩 정확도를 향상시키기 위해 단어 수준의 LSTM 언어 모델과 고급 WFST 기반 디코더를 사용하였다.
• Switchboard 300시간 및 LibriSpeech 960시간 데이터셋에서 실험을 수행하였으며, 동일한 하이퍼파라미터로 일관된 에포크 수만큼 모든 모델을 학습시켰다.
• 표준 Hub5'00, Hub5'01, RT'03 테스트 세트에서 WER(단어 오류율)를 사용하여 성능을 평가하여, 레이블 유형 간 공정한 비교를 확보하였다.

실험 결과

연구 질문

• RQ1 그래프음 기반과 파생음 기반 레이블 단위의 선택이 인코더-디코더-어텐션 모델에서 ASR 성능에 어떤 영향을 미치는가?
• RQ2 파생음-BPE 서브워드 단위 사용이 단일 파생음보다 성능을 향상시키는가? 또한 그래프음-BPE와 비교해 볼 때 어떤가?
• RQ3 EOW 및 단어 끝 파생음과 같은 보조 레이블 단위가 동음어 해소 및 총 WER에 어떤 영향을 미치는가?
• RQ4 다른 레이블 단위를 사용할 때, 작은 데이터셋(Switchboard 300시간)과 큰 데이터셋(LibriSpeech 960시간) 간의 모델 성능은 어떻게 다를까?
• RQ5 저자원 또는 어휘 외 단어 상황에서 파생음 기반 모델링이 그래프음 기반 모델링보다 일반화 능력에서 뛰어나지 않는가?

주요 결과

• 파생음-BPE 서브워드 단위를 사용한 파생음 기반 모델은 Hub5'00 Switchboard에서 WER 8.7%를 기록하여 언어 모델 없이 10.1%, 언어 모델 유무에 따라 8.9%를 기록한 그래프음-BPE 모델보다 약간 뛰어난 성능을 보였다.
• 단일 파생음 모델에서 EOW 기호 사용으로 WER가 14.8%에서 14.4%로 감소하여, 디코딩에 유용함을 확인하였다.
• 단어 끝 파생음(#)은 EOW보다 성능이 열 劣(15.5% WER)하여, EOW가 명시적 단어 끝 표시보다 더 효과적인 해소 전략임을 시사한다.
• LibriSpeech 960시간 데이터셋에서는 10,000개의 서브워드를 사용한 그래프음-BPE가 가장 낮은 WER(클리어: 3.15%, 오더: 3.59%)를 기록하여, 모든 파생음 기반 변형보다 뛰어난 성능을 보였다.
• 단일 파생음 모델은 서브워드 모델보다 훨씬 더 심한 오버피팅을 보였으며, 특히 LibriSpeech에서 두드러졌다. 이는 서브워드 단위가 일반화 능력을 향상시킨다는 것을 시사한다.
• 5,000개의 서브워드를 사용한 파생음-BPE는 LibriSpeech dev-clean에서 WER 3.42%를 기록하여 단일 파생음(5.14%)보다 뛰어나고, 그래프음-BPE의 성능에 근접하였다.