[論文レビュー] Adam Mickiewicz University at WMT 2022: NER-Assisted and Quality-Aware Neural Machine Translation

Artur Nowakowski, Gabriela Pałka+2 more|arXiv (Cornell University)|Sep 7, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

本論文は、名前付きエンティティ認識（NER）支援型のソースファクター、ノイズの多いバックトランスレーション、文書レベルのモデリング、モデルアンサンブル、および品質に配慮したデコード（最小ベイズリスク再ランク付け）を活用して、ウクライナ語↔チェコ語間のニューラル機械翻訳（NMT）システムを提示する。このシステムは、WMT 2022 共同タスクのテストセットにおいて、両翻訳方向で最先端の COMET スコアを達成した。

ABSTRACT

This paper presents Adam Mickiewicz University's (AMU) submissions to the constrained track of the WMT 2022 General MT Task. We participated in the Ukrainian $\leftrightarrow$ Czech translation directions. The systems are a weighted ensemble of four models based on the Transformer (big) architecture. The models use source factors to utilize the information about named entities present in the input. Each of the models in the ensemble was trained using only the data provided by the shared task organizers. A noisy back-translation technique was used to augment the training corpora. One of the models in the ensemble is a document-level model, trained on parallel and synthetic longer sequences. During the sentence-level decoding process, the ensemble generated the n-best list. The n-best list was merged with the n-best list generated by a single document-level model which translated multiple sentences at a time. Finally, existing quality estimation models and minimum Bayes risk decoding were used to rerank the n-best list so that the best hypothesis was chosen according to the COMET evaluation metric. According to the automatic evaluation results, our systems rank first in both translation directions.

研究の動機と目的

• 近縁のスラブ語間（ウクライナ語とチェコ語）における低資源 NMT を改善すること。
• 名前付きエンティティ認識（NER）情報をソース入力に統合することで、命名エンティティの翻訳品質を向上させること。
• モノリンガルコーパスを用いたノイズの多いバックトランスレーションによるデータ拡張を通じて、低資源翻訳を強化すること。
• より長いシーケンスで文書レベルのモデルを学習させることで、一貫性と整合性を向上させること。
• n-best リストをアンサンブルモデルと文書レベルモデルから組み合わせ、その後に COMET スコアに基づく再ランク付けを実施することで、出力品質を最適化すること。

提案手法

• 別々のソースおよびターゲット語彙を用いて、32,000 個のサブワードユニットを持つ 4 つの Transformer（ビッグ）モデルを学習した。
• 事前学習済み NER モデルを用いて入力テキストに対して NER を実行し、その結果をソースファクターとして連結または加算することで、命名エンティティの翻訳を改善した。
• Gumbel ノイズを用いたノイズの多いバックトランスレーションにより、モノリンガルコーパスから合成平行データを生成した。
• 最大 250 個のサブワードトークンを含むシーケンスを用いて、長距離依存関係を捉える文書レベルのモデルを学習した。
• 文書レベルのモデルと文レベルのアンサンブルから得た n-best 偽例を重み付き平均により統合した。
• 品質推定モデルと最小ベイズリスクデコードを用いて、COMET スコアに基づいて n-best リストを再ランク付けした。

実験結果

リサーチクエスチョン

• RQ1 NER アシスト型ソースファクターは、低資源のウクライナ語↔チェコ語 NMT において、命名エンティティの翻訳を顕著に改善できるか？
• RQ2 限定的な平行データしか利用できない状況下で、ノイズの多いバックトランスレーションは翻訳品質の向上にどの程度効果的か？
• RQ3 文書レベルのモデリングは、低資源環境下で一貫性と全体的な翻訳品質を向上させることができるか？
• RQ4 COMET スコアに基づく品質に配慮したデコードは、自動評価において標準的なビームサーチを上回ることができるか？
• RQ5 複数の NMT 向上技術を併用した場合、制限された低資源環境下での全体的なシステム性能にどのような統合的影響が生じるか？

主な発見

• ウクライナ語→チェコ語のテストセットにおいて、最終システムは COMET スコア 1.0488 を達成し、ベースライン（0.8315）と比較して相対的に 26.13% の向上を示した。
• チェコ語→ウクライナ語の翻訳においては、COMET スコア 0.9944 を達成し、ベースライン（0.8008）と比較して相対的に 24.18% の向上を示した。
• 品質に配慮したデコード手法が最大の COMET スコア向上をもたらしたが、やや BLEU スコアを低下させたため、流暢さと意味的品質のトレードオフが生じていることが示された。
• NER ソースファクターは命名エンティティの翻訳を改善したが、メトリクスのエンティティ誤りに対する感受性の低さにより、COMET スコアには十分に反映されなかった。
• 文書レベルのモデルを文単位のデコードと組み合わせた場合、COMET スコア 0.8942 を達成した。これは、長距離コンテキストモデリングが、文単位のデコードでも価値をもたらすことを示している。
• 統計的有意性検定により、両翻訳方向において最終提出物がベースラインを有意に上回っていることが確認された（p < 0.05）。