[論文レビュー] Grapheme-to-Phoneme Transformer Model for Transfer Learning Dialects

Eric Engelhart, Mahsa Elyasi+1 more|arXiv (Cornell University)|Apr 8, 2021

Natural Language Processing Techniques参考文献 9被引用数 5

ひとこと要約

この論文は、インド英語やイギリス英語などの低リソースな英語方言の発音精度を向上させるために、Transformerベースの音素変換（G2P）モデルを用いた転移学習手法を提案する。CMUDict（アメリカ英語の大規模辞書）で事前学習したモデルを、ターゲット方言の小規模な辞書で微調整することで、イギリス英語では元から学習したモデルの26.877％から2.469％へと音素誤り率（PER）を低減し、1万語のインド英語辞書では0.875％のPERを達成した。これは、限られたデータで学習する方言への強い汎化性能を示している。

ABSTRACT

Grapheme-to-Phoneme (G2P) models convert words to their phonetic pronunciations. Classic G2P methods include rule-based systems and pronunciation dictionaries, while modern G2P systems incorporate learning, such as, LSTM and Transformer-based attention models. Usually, dictionary-based methods require significant manual effort to build, and have limited adaptivity on unseen words. And transformer-based models require significant training data, and do not generalize well, especially for dialects with limited data. We propose a novel use of transformer-based attention model that can adapt to unseen dialects of English language, while using a small dictionary. We show that our method has potential applications for accent transfer for text-to-speech, and for building robust G2P models for dialects with limited pronunciation dictionary size. We experiment with two English dialects: Indian and British. A model trained from scratch using 1000 words from British English dictionary, with 14211 words held out, leads to phoneme error rate (PER) of 26.877%, on a test set generated using the full dictionary. The same model pretrained on CMUDict American English dictionary, and fine-tuned on the same dataset leads to PER of 2.469% on the test set.

研究の動機と目的

• 限られた発音辞書と不足した学習データを伴う英語方言における低リソースG2Pの課題に対処すること。
• 方言話に一般的な未知語、綴り間違い、長語や造語に対するニューラルG2Pモデルの汎化性能を向上させること。
• アメリカ英語という大規模・高リソースな方言からの転移学習が、小規模・低リソースな方言（イギリス英語・インド英語）における性能向上に顕著に寄与するかどうかを検証すること。
• 方言固有のG2Pシステムにおけるモデル性能と学習効率に与える辞書サイズの影響を評価すること。

提案手法

• CMUDict（アメリカ英語）で事前学習したモデルを、ターゲット方言の小規模な辞書（例：イギリス英語1,000語）で微調整する。
• 標準的なTransformerアーキテクチャを採用し、3層のエンコーダーとデコーダー、256の隠れ層幅、8つのアテンションヘッド、512のフィードフォワード幅を設定し、Adam最適化法とラベルスムージングを用いて学習する。
• ターゲット方言の辞書からグラーマー列と発音表記をペairし、文単位の文脈を活用することで汎化性能を向上させる。
• CMUDictからの事前学習済みチェックポイントを初期化として用い、ターゲット方言のデータで微調整することで転移学習を実施し、アテンション層およびフィードフォワード層を保持する。
• 完全な辞書から抽出したホールドアウトテストセットを用いて、音素誤り率（PER）を評価し、元から学習したモデルと微調整済みモデルを比較する。
• 未知語、綴り間違い、長語などエッジケースに対してモデルの頑健性をテストし、学習語彙を超えた汎化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 アメリカ英語という大規模・高リソースな方言からの転移学習が、イギリス英語・インド英語といった低リソースな方言におけるG2P性能を顕著に向上させることができるか？
• RQ2 ターゲット方言の発音辞書のサイズが、元から学習したモデルと微調整済みモデルの性能にどのように影響するか？
• RQ3 微調整済みのTransformer G2Pモデルが、語彙外の語、綴り間違い、およびジャバウォッキーに見られるような造語的語彙に対し、どの程度汎化できるか？
• RQ4 小規模なターゲット方言データで微調整することで、学習から開始する場合と比較して計算効率が向上し、PERが低減するか？

主な発見

• CMUDictで事前学習したモデルを、イギリス英語の1,000語テストセットで微調整することで、音素誤り率（PER）を元から学習したモデルの26.877％から2.469％へと低減した。
• 1万語のインド英語辞書を用いた場合、微調整済みモデルは0.875％のPERを達成した。これは、学習ステップ数が少ないにもかかわらず、元から学習したモデル（10.017％のPER）を上回った。
• インド英語の1万語辞書で微調整したモデルは2.039％のPERを達成し、元から学習したモデルの2.166％をわずかに上回り、効率性の向上が裏付けられた。
• エッジケースにおいても強い汎化性能を示した：ジャバウォッキーの造語に対して、微調整済みモデルは「jubjub」のような繰り返し音を的確に再現したが、元から学習したモデルは失敗した。
• イギリス英語の微調整済みモデルは「bandersnatch」の発音を「b”ænd@zn”æts」とより一貫性のある発音として出力したが、元から学習したモデルは「@r”eIs@nstss」と出力し、真値から逸脱していた。
• 転移学習による性能向上は、特に小さな辞書で顕著であり、辞書サイズが大きくなるに従いその効果が薄れる傾向にあり、これは低データ環境下での転移学習の価値が最も高いことを示唆している。