[論文レビュー] SJTU-NICT's Supervised and Unsupervised Neural Machine Translation Systems for the WMT20 News Translation Task

Zuchao Li, Hai Zhao+4 more|arXiv (Cornell University)|Oct 11, 2020

Natural Language Processing Techniques参考文献 58被引用数 6

ひとこと要約

本論文は、WMT20ニュース翻訳タスクにおけるSJTU-NICTのニューラル機械翻訳システムを提示する。ドキュメント拡張NMT、XLM事前学習、双方向翻訳、参照言語ベースUNMT、データ依存ガウス事前分布目的関数、BT-BLEU共同フィルタリングといった多様な技術を採用した。これらのシステムは最先端の性能を達成し、英語→中国語、ポーランド語→英語、ドイツ語→上ソルブ語の3つの翻訳方向で1位を獲得した。

ABSTRACT

In this paper, we introduced our joint team SJTU-NICT 's participation in the WMT 2020 machine translation shared task. In this shared task, we participated in four translation directions of three language pairs: English-Chinese, English-Polish on supervised machine translation track, German-Upper Sorbian on low-resource and unsupervised machine translation tracks. Based on different conditions of language pairs, we have experimented with diverse neural machine translation (NMT) techniques: document-enhanced NMT, XLM pre-trained language model enhanced NMT, bidirectional translation as a pre-training, reference language based UNMT, data-dependent gaussian prior objective, and BT-BLEU collaborative filtering self-training. We also used the TF-IDF algorithm to filter the training set to obtain a domain more similar set with the test set for finetuning. In our submissions, the primary systems won the first place on English to Chinese, Polish to English, and German to Upper Sorbian translation directions.

研究の動機と目的

• 豊富なリソース、ドキュメントレベル、低リソースといった多様な翻訳シナリオに対応するため、各状況に適したNMT技術をカスタマイズすること。
• Longformerを用いたドキュメント構造モデリングとBERTのNSPを用いたドキュメント構造回復により、ドキュメントレベルの文脈モデリングを向上させること。
• 参照言語の監視、多言語事前学習、共同フィルタリングを用いて、教師なしおよび低リソース翻訳を向上させること。
• 提案されたデータ依存ガウス事前分布目的関数（D2GPo）により、潜在空間の正則化と出力の多様性の維持を図ることで、一般化性能を向上させること。
• テストセットの分布に一致するように、TF-IDFを用いた訓練データのフィルタリングにより、微調整におけるドメイン整合性を最適化すること。

提案手法

• ドキュメントレベルの文脈符号化にLongformerを用いたドキュメント拡張NMTを提案し、エンコーダーおよびデコーダー層へのドキュメント表現の注目メカニズムを用いた統合を実装した。
• XLM事前学習言語モデルをNMTに統合し、マスク言語モデリングとクロスアテンション機構を組み合わせることで多言語表現を向上させた。
• 双方向翻訳を事前学習戦略として採用し、共有エンコーダー・デコーダーを特定の翻訳方向に微調整した。
• EN-DE並列データを用いて、DE-HSB翻訳のための多言語的監視を提供する、参照言語ベースの教師なしNMT（RUNMT）を導入した。
• BT-BLEUスコアに基づく共同フィルタリング自己学習（CFST）を採用し、高品質なバックトランスレーション文を抽出することで、モデルのロバスト性を向上させた。
• データ依存ガウス事前分布目的関数（D2GPo）を適用し、トレーニング中に潜在空間を正則化し、出力の多様性を維持した。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳におけるドキュメントレベルの文脈を効果的にモデリングする方法は何か？翻訳品質の向上にどのように寄与するか？
• RQ2 XLMのような事前学習多言語モデルは、低リソースおよび高リソース言語対における教師ありNMT性能をどの程度向上させ得るか？
• RQ3 ドイツ語-上ソルブ語のような低リソース環境において、参照言語の監視が教師なし翻訳性能を顕著に向上させ得るか？
• RQ4 BT-BLEUスコアに基づく共同フィルタリングは、教師なしおよび低リソースNMTにおける自己学習をどの程度改善するか？
• RQ5 TF-IDFを用いたデータフィルタリングは、NMTシステムにおけるドメイン整合性と微調整性能にどのような影響を及ぼすか？

主な発見

• ドキュメント拡張NMTモデルは、ベースラインと比較して、英語→中国語翻訳において1.5 BLEU以上も単一モデル性能を向上させた。
• XLM拡張NMTモデルと双方向翻訳事前学習は、英語→ポーランド語翻訳において、それぞれベースラインから約2 BLEUポイント向上させた。
• 最終システムは、公式DE→HSBテストセットで60.7 sacreBLEUを達成し、教師なしトラックで1位となった。
• RUNMTにおけるRAT、RABT、XBTのトレーニングターゲットの組み合わせにより、DE→HSBでベースラインから11.7 BLEUポイント向上した。
• 低リソーストラックにおいてCFSTとD2GPoを追加することで、性能が1.0–1.5 BLEU向上した。これは、両者の貢献が直交的で効果的であることを示している。
• アンサンブルおよびリランキング技術により、最終的なDE→HSBスコアは60.7（公式）および58.5（HSB→DE）にまで向上し、全翻訳方向でトップランクを確保した。