[논문 리뷰] Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects

Eric Engelhart, Mahsa Elyasi외 1명|arXiv (Cornell University)|2021. 04. 08.

Natural Language Processing Techniques참고 문헌 9인용 수 5

한 줄 요약

이 논문은 캐나다 영어 사전(CMUDict)에서 사전 훈련된 대규모 미국 영어 사전을 기반으로 한 Transformer 기반의 그래프먼-발음 변환(G2P) 모델을 사용하여, 인도 영어 및 영국 영어와 같은 저자원 영어 방언의 발음 정확도를 향상시키기 위한 전이 학습 기법을 제안한다. CMUDict에서 사전 훈련된 모델을 소규모 영국 영어 사전(1,000단어)에 대해 미세조정함으로써, 영국 영어의 경우 26.877%에서 2.469%로, 인도 영어 사전(10,000단어)을 사용할 경우 0.875%의 PER를 달성하여, 제한된 데이터셋을 가진 방언에 대해 강력한 일반화 능력을 입증한다.

ABSTRACT

Grapheme-to-Phoneme (G2P) models convert words to their phonetic pronunciations. Classic G2P methods include rule-based systems and pronunciation dictionaries, while modern G2P systems incorporate learning, such as, LSTM and Transformer-based attention models. Usually, dictionary-based methods require significant manual effort to build, and have limited adaptivity on unseen words. And transformer-based models require significant training data, and do not generalize well, especially for dialects with limited data. We propose a novel use of transformer-based attention model that can adapt to unseen dialects of English language, while using a small dictionary. We show that our method has potential applications for accent transfer for text-to-speech, and for building robust G2P models for dialects with limited pronunciation dictionary size. We experiment with two English dialects: Indian and British. A model trained from scratch using 1000 words from British English dictionary, with 14211 words held out, leads to phoneme error rate (PER) of 26.877%, on a test set generated using the full dictionary. The same model pretrained on CMUDict American English dictionary, and fine-tuned on the same dataset leads to PER of 2.469% on the test set.

연구 동기 및 목표

• 제한된 발음 사전과 부족한 훈련 데이터를 가진 영어 방언에 대해 저자원 G2P 문제를 해결하기 위해.
• 신경망 기반 G2P 모델이 미리 보지 않은 단어, 철자 실수, 그리고 방언 어휘에서 흔한 장문 또는 창작된 단어에 대해 일반화 능력을 향상시키기 위해.
• 대규모 고자원 방언(미국 영어)에서 전이 학습을 수행할 경우, 소규모 저자원 방언(영국 및 인도 영어)에서 성능 향상이 크게 이루어지는지 조사하기 위해.
• 다양한 사전 크기의 영향을 분석하여, 방언 특화 G2P 시스템의 성능 및 훈련 효율성에 미치는 영향을 평가하기 위해.

제안 방법

• CMUDict(미국 영어)에서 사전 훈련된 모델을 기반으로, 소규모 대상 방언 사전(예: 영국 영어 1,000단어)에 대해 미세조정한다.
• 표준 Transformer 아키텍처를 사용하며, 인코더 및 디코더 각각 3층, 히든 너비 256, 어텐션 헤드 수 8, 피드포워드 너비 512로 구성되며, Adam 옵timizer와 레이블 스무딩을 사용해 훈련한다.
• 대상 방언의 사전에서 그래프먼 시퀀스와 발음 전사문을 쌍으로 묶어 훈련 데이터를 생성하며, 문장 수준의 맥락을 활용해 일반화 능력을 향상시킨다.
• 전이 학습을 적용하기 위해, CMUDict에서 사전 훈련된 체크포인트를 사용해 모델을 초기화하고, 대상 방언 데이터에 대해 미세조정함으로써 어텐션 및 피드포워드 레이어를 유지한다.
• 전체 사전에서 파생된 보류된 테스트 세트에서의 성능을 평가하기 위해, 발음 오류율(PER)을 사용하며, from-scratch 모델과의 성능을 비교한다.
• 일반화 능력을 평가하기 위해, 창작된 단어(Jabberwocky 등), 철자 실수, 장문의 단어와 같은 극단 케이스에 대한 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 대규모 고자원 방언(미국 영어)에서 전이 학습을 수행할 경우, 저자원 방언(영국 및 인도 영어)에서 G2P 성능 향상이 유의미하게 이루어지는가?
• RQ2 대상 방언의 발음 사전 크기가 from-scratch 모델과 fine-tuned 모델의 성능에 어떤 영향을 미치는가?
• RQ3 미세조정된 Transformer G2P 모델이, 사전 외 단어, 철자 실수, 그리고 Jabberwocky와 같은 창작 어휘에 대해 얼마나 잘 일반화되는가?
• RQ4 소규모 대상 방언 데이터셋에 대해 미세조정을 수행할 경우, from-scratch 학습 대비 계산 효율성 향상과 더 낮은 PER 달성이 가능한가?

주요 결과

• CMUDict에서 사전 훈련된 모델을 영국 영어 사전(1,000단어)에 대해 미세조정함으로써, 발음 오류율(PER)을 from-scratch의 26.877%에서 2.469%로 감소시켰다.
• 인도 영어 사전(10,000단어)을 사용할 경우, 미세조정된 모델은 0.875% PER를 달성하여, 훈련 스텝 수가 적은 from-scratch 모델(10.017% PER)을 능가하는 성능을 보였다.
• 인도 영어 사전(10,000단어)에 대해 미세조정된 모델은 2.039% PER를 기록했으며, from-scratch 모델의 2.166% PER보다 略적으로 우수한 성능을 보여, 훈련 효율성이 향상됨을 입증했다.
• 모델은 극단 케이스에 대해 강력한 일반화 능력을 보였다: Jabberwocky의 창작된 단어에 대해 타당한 발음을 올바르게 생성한 반면, from-scratch 모델은 'jubjub'과 같은 반복된 소리의 재현에 실패했다.
• 영국 영어의 미세조정된 모델은 'bandersnatch'의 발음을 (b”ænd@zn”æts) 더 일관성 있게 생성했으며, from-scratch 모델(@r”eIs@nstss)은 지나치게 이질적인 결과를 보였다. 다만, 둘 다 정답과 다소 차이가 있었다.
• 전이 학습의 성능 향상은 소규모 사전에서 가장 두드러졌으며, 사전 크기가 커질수록 효과가 점점 감소함을 확인하여, 전이 학습이 저자원 환경에서 가장 유의미한 가치를 지닌다는 것을 시사한다.