[論文レビュー] Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin

Orevaoghene Ahia, Kelechi Ogueji|arXiv (Cornell University)|Mar 27, 2020

Natural Language Processing Techniques参考文献 5被引用数 13

ひとこと要約

この論文は、語彙レベルおよびバイトペア符号化（BPE）トークン化を用いた変換器モデルを用いて、英語-ナイジェリア・ピジン語翻訳のための教師ありおよび教師なしニューラル機械翻訳（NMT）ベースラインを確立した。最も優れたモデルは、BPEトークン化を用いた教師ありNMTシステムであり、英語からピジン語への翻訳でBLEUスコア24.29を達成し、教師なしおよび語彙レベルのモデルを著しく上回り、低リソースのアフリカ言語翻訳のための基盤となるベンチマークを設定した。

ABSTRACT

Nigerian Pidgin is arguably the most widely spoken language in Nigeria. Variants of this language are also spoken across West and Central Africa, making it a very important language. This work aims to establish supervised and unsupervised neural machine translation (NMT) baselines between English and Nigerian Pidgin. We implement and compare NMT models with different tokenization methods, creating a solid foundation for future works.

研究の動機と目的

• ナイジェリア・ピジン語は西アフリカで高い社会的言語的関連性を持つ低リソース言語であるが、そのための最初の教師ありおよび教師なしニューラル機械翻訳ベースラインを構築すること。
• 語彙レベルとBPEサブワードトークン化の異なる戦略が、英語-ピジン語翻訳におけるNMTパフォーマンスに与える影響を評価すること。
• 英語のインターネットコンテンツへのアクセスをナイジェリア人のために可能にするため、機械翻訳を用いてデジタル格差を是正すること。
• コード、データ、および訓練済みモデルを公開することで、低リソースのアフリカ言語NLP分野における今後の研究の基盤を提供すること。

提案手法

• すべてのモデルに対して、4〜6層のエンコーダーおよびデコーダー、10個のアテンションヘッド、語彙レベルでは300、BPEでは256の埋め込み次元を有する変換器アーキテクチャを用いた。
• 語彙の外単語の処理を改善するため、4000個の学習済みサブワードを用いたBPEサブワードトークン化を適用した。これは、形態的に豊富またはまれなピジン語の単語に対して特に有効である。
• 20214組の文の対を訓練用、1000組を検証用として使用し、JoeyNMTツールキットを用いて教師ありモデルをJW300並列コーパス上で訓練した。
• 教師なしモデルは、Ogueji & Ahia (2019)のフレームワークを用い、並列データを一切使用せず、単語語彙データと敵対的訓練を活用して訓練した。
• BLEUスコアを主な指標として用い、マサカネグループが事前処理を施した保留テストセット（2101組の文の対）でモデルを評価した。
• 最高のテストBLEUスコアを示したモデルを選定し、意味の整合性を確認するため、ネイティブのL1話者による定性的分析も実施した。

実験結果

リサーチクエスチョン

• RQ1 教師ありおよび教師なしNMTモデルは、英語-ナイジェリア・ピジン語翻訳において、性能でどのように比較されるか？
• RQ2 語彙レベルとBPEサブワードトークン化の違いが、ナイジェリア・ピジン語のような低リソースのアフリカ言語におけるNMTパフォーマンスに与える影響は何か？
• RQ3 教師なしNMTモデルは、並列データが存在しない状況でも意味的に正確な翻訳を生成できるか？また、教師ありベースラインと比較してどうなるか？
• RQ4 BPEが低リソース設定で一般的に優れているにもかかわらず、なぜ語彙レベルトークン化がピジン語から英語への翻訳で優れているのか？

主な発見

• BPEトークン化を用いた教師ありNMTモデルが、英語からピジン語への翻訳で最高のBLEUスコア24.29を達成し、教師なしモデル（5.18）および語彙レベル教師ありモデル（17.73）を著しく上回った。
• ピジン語から英語への翻訳では、語彙レベル教師ありモデルがBLEUスコア24.67を達成し、教師なしモデル（7.93）およびBPE教師ありモデル（13.00）を上回った。
• 語彙レベルトークン化がピジン語から英語への翻訳でBPEを上回った。これは、サブワード分割がナイジェリア・ピジン語の構文的・形態論的構造を破壊する可能性があることを示唆している。
• 教師なしモデルはBLEUスコアが低くても、ネイティブ話者が意味的に正確であると評価した翻訳を生成しており、表面的な表現がずれても意味の保存が良好に保たれていることを示している。
• 本研究は、ナイジェリア・ピジン語における今後のNMT研究の強固なベースラインを確立した。コード、データ、およびモデルは公開され、再現性および拡張性を確保した。
• 定性的分析により、教師なしモデルが、基準訳と完全に一致しなくても、流暢で意味のある翻訳を生成できることを確認した。