[論文レビュー] Attentive Sequence-to-Sequence Learning for Diacritic Restoration of Yor\`ub\'a Language Text.

Iroro Orife|arXiv (Cornell University)|Apr 3, 2018

Natural Language Processing Techniques参考文献 21被引用数 4

ひとこと要約

この論文では、Yorúbáにおける自動発音記号復元（ADR）のための注目メカニズムを備えた系列対系列ニューラルネットワーク手法を提案する。未発音記号化テキストをソース言語、発音記号化テキストをターゲット言語として、ニューラル機械翻訳フレームワーク内で扱う。ソフト注目と自己注目を備えた系列対系列モデルを用いて、100万語の評価データセットで5%未満の発音記号化誤り率を達成。Yorúabá NLP分野の発展を促進するため、モデルとデータをオープンソース化した。

ABSTRACT

Yor\`ub\'a is a widely spoken West African language with a writing system rich in tonal and orthographic diacritics. With very few exceptions, diacritics are omitted from electronic texts, due to limited device and application support. Diacritics provide morphological information, are crucial for lexical disambiguation, pronunciation and are vital for any Yor\`ub\'a text-to-speech (TTS), automatic speech recognition (ASR) and natural language processing (NLP) tasks. Reframing Automatic Diacritic Restoration (ADR) as a machine translation task, we experiment with two different attentive Sequence-to-Sequence neural models to process undiacritized text. On our evaluation dataset, this approach produces diacritization error rates of less than 5%. We have released pre-trained models, datasets and source-code as an open-source project to advance efforts on Yor\`ub\'a language technology.

研究の動機と目的

• 電子的Yorúbáテキストにおける発音記号の省略という深刻な課題に対処すること。これは発音、語彙の意味の区別、NLPタスクを妨げる。
• 自動発音記号復元（ADR）を、系列対系列モデルを用いたニューラル機械翻訳問題として再定式化すること。
• 大規模かつ高不定性を有するYorúbáコーパス上で、注目メカニズムを備えたニューラルアーキテクチャ（ソフト注目と自己注目を備えた系列対系列モデル）を開発・評価すること。
• 事前学習済みモデル、データセット、ソースコードをオープンソースとして公開し、Yorúabá言語技術の開発を加速すること。

提案手法

• ADRを系列対系列学習タスクとして再定式化し、未発音記号化Yorúbáテキストを発音記号化形にマッピングするニューラル機械翻訳を用いる。
• ソフト注目と自己注目メカニズムを備えた2種類の注目ベースの系列対系列モデルを実装し、長距離依存関係を捉える。
• 発音記号と音高記号を含む、高レベルの語彙的不定性を持つ100万語のYorúbáコーパスでモデルを学習。
• 文字レベルの埋め込みと注目重み行列を用いて、文脈に依存する発音記号予測をモデル化する。
• 保持されたテストセット上で発音記号化誤り率（DER）を用いて性能を評価する。
• fastText語ベクトルを用いて、学習データにおける一貫性のない発音記号化誤りを検出し、是正する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを備えた系列対系列モデルは、高い不定性を有するYorúbáテキストの発音記号を効果的に復元できるか？
• RQ2 ソフト注目と自己注目を備えた系列対系列モデルは、Yorúbá発音記号復元において性能でどのように比較されるか？
• RQ3 大規模かつ多様なコーパスで学習させることで、低リソースのYorúbáテキストにおける発音記号化誤り率はどの程度低減されるか？
• RQ4 注目メカニズムは、Yorúbá動詞における不連続な語幹や音高の変化をどのように文脈で捉えているか？
• RQ5 誤り分析と語ベクトルによる是正は、学習データの品質向上とモデルの汎化能力向上にどの程度寄与するか？

主な発見

• 提案された注目メカニズムを備えた系列対系列モデルは、評価データセットで5%未満の発音記号化誤り率を達成し、高い不定性を持つコーパスでも優れた性能を示した。
• 自己注目モデルがソフト注目モデルをわずかに上回り、Yorúbáテキストにおける長距離依存関係のモデル化がより優れていることを示した。
• 注目重み行列から、モデルが文脈に依存する発音記号予測を効果的に学習していることが明らかになった。たとえば、'si'（s`ı と s´ı のいずれか）のような曖昧な形では、前の語に注目している。
• モデルは、'j`u' や 's`ı' のような不連続な語幹において、関連する文脈的手がかりに注目することで、音高発音記号を効果的に復元した。
• 誤り分析により、学習データに一貫性のない発音記号化が存在することが判明。fastTextベースの近隣探索による是正により、学習データの品質が向上した。
• モデルをテキストエディターやブラウザ、モバイルキーボードに統合することは可能であり、Yorúbáユーザーの手動入力作業を大幅に軽減できる。