[論文レビュー] Facebook FAIR's WMT19 News Translation Task Submission

Peng‐Jen Chen, Ann Lee+5 more|arXiv (Cornell University)|Jul 15, 2019

Topic Modeling参考文献 50被引用数 13

ひとこと要約

Facebook FAIR は WMT19 ニュース翻訳タスクに提出し、低資源言語としてのタミル語-英語およびイヌクティットゥト語-英語ペアに焦点を当てた。このアプローチは、多言語事前学習、データ拡張、ドメイン適応のためのドメイン内微調整、および再ランク付けを組み合わせており、21.5 BLEU（Ta→En）および 27.9 BLEU（Iu→En）を達成し、並列データおよび単語語彙データが限られているにもかかわらず、強力な性能を示した。

ABSTRACT

This paper describes Facebook AI's submission to WMT20 shared news translation task. We focus on the low resource setting and participate in two language pairs, Tamil English and Inuktitut English, where there are limited out-of-domain bitext and monolingual data. We approach the low resource problem using two main strategies, leveraging all available data and adapting the system to the target news domain. We explore techniques that leverage bitext and monolingual data from all languages, such as self-supervised model pretraining, multilingual models, data augmentation, and reranking. To better adapt the translation system to the test domain, we explore dataset tagging and fine-tuning on in-domain data. We observe that different techniques provide varied improvements based on the available data of the language pair. Based on the finding, we integrate these techniques into one training pipeline. For En->Ta, we explore an unconstrained setup with additional Tamil bitext and monolingual data and show that further improvement can be obtained. On the test set, our best submitted systems achieve 21.5 and 13.7 BLEU for Ta->En and En->Ta respectively, and 27.9 and 13.0 for Iu->En and En->Iu respectively.

研究の動機と目的

• タミル語やイヌクティットゥト語のような代表的でない言語における低資源設定でのニューラル機械翻訳の向上を図ること。
• ドメイン外の並列語彙データおよび単語語彙データが限られている状況でも、高度なデータおよびモデル適応技術を活用して効果的にそれらを活用すること。
• ドメイン内微調整およびデータセットタギングを用いて、翻訳システムをニュースドメインに適応させること。
• 複数の技術を統合した一貫したトレーニングパイプラインを構築し、低資源言語ペアにおけるパフォーマンスを最大化すること。

提案手法

• 多言語単語語彙データを用いた自己教師付き事前学習により、表現学習を向上させた。
• 多言語シーケンス・トゥ・シーケンスモデルを用いて、関連言語間で知識を共有した。
• データ拡張技術を用いて、有効なトレーニングデータ量を増加させた。
• データセットタギングおよびドメイン内微調整を用いて、モデルをニュースドメインに適応させた。
• デコード後の翻訳品質を向上させるために、再ランク付けを実装した。
• すべての技術を、低資源設定に最適化された単一のトレーニングパイプラインに統合した。

実験結果

リサーチクエスチョン

• RQ1 多言語および自己教師付き事前学習は、低資源設定における翻訳品質をどのように向上させるか？
• RQ2 ドメイン内微調整は、ニューステキストの翻訳パフォーマンスにどのような影響を与えるか？
• RQ3 データ拡張および再ランク付けは、低資源翻訳においてどの程度効果的か？
• RQ4 データ量の異なる言語ペアにおいて、さまざまな技術のパフォーマンスはどのように比較されるか？

主な発見

• 最良のシステムは、タミル語-英語翻訳タスクで 21.5 BLEU を達成し、データが限られているにもかかわらず強力なパフォーマンスを示した。
• 英語-タミル語の場合、システムは 13.7 BLEU を達成し、低資源条件での有効性を示した。
• イヌクティットゥト語-英語ペアでは、最良のシステムが 27.9 BLEU を達成し、極めて低資源言語への強い適応性を示した。
• 英語-イヌクティットゥト語の場合、システムは 13.0 BLEU を記録し、ドメイン特化型適応の有効性を強調した。
• 追加のタミル語並列語彙および単語語彙データは、制約なしの設定でパフォーマンスをさらに向上させた。これは、データのスケーラビリティを確認するものであった。