[論文レビュー] Lingua Custodia's participation at the WMT 2021 Machine Translation using Terminologies shared task

Melissa Ailem, Jinghsu Liu+1 more|arXiv (Cornell University)|Nov 3, 2021

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、WMT 2021 共同タスクにおける制約付きニューラル機械翻訳のための Lingua Custodia のアプローチを提示する。訓練時データ拡張と制約トークンマスキングを用いて用語遵守を向上させる。この手法は、英語-フランス語翻訳において正確一致精度を 91.9% まで著しく向上させ、BLEU（44.90）と COMET（0.681）の高いスコアを維持する。標準的な Transformer や推論時制約付きデコーダーを上回る性能を発揮する。

ABSTRACT

This paper describes Lingua Custodia's submission to the WMT21 shared task on machine translation using terminologies. We consider three directions, namely English to French, Russian, and Chinese. We rely on a Transformer-based architecture as a building block, and we explore a method which introduces two main changes to the standard procedure to handle terminologies. The first one consists in augmenting the training data in such a way as to encourage the model to learn a copy behavior when it encounters terminology constraint terms. The second change is constraint token masking, whose purpose is to ease copy behavior learning and to improve model generalization. Empirical results show that our method satisfies most terminology constraints while maintaining high translation quality.

研究の動機と目的

• 医療や公衆衛生などの専門分野における神経機械翻訳モデルの用語制約への適合性を向上させること。
• 並列訓練データにおける用語カバレッジが低いという課題に対処するため、モノリンガルデータを活用してデータ拡張を行うこと。
• 新しいマスキング戦略を用いて、矛盾する用語マッピングを扱う際のモデルの一般化能力とロバスト性を向上させること。
• 推論時の計算負荷を回避しつつ厳密な用語遵守を保証する訓練時アプローチを開発すること。

提案手法

• モデルがコピー動作を学習できるように、ソース側の用語を <S> と </S> タグでマークアップすることで、訓練データを拡張する。
• 制約トークンマスキング戦略を導入し、<S> タグの後に用語を MASK トークンに置き換えることで、モデルがターゲット用語をコピーするように学習させる。
• 付帯埋め込み（tied embeddings）を備えた 8 頭のアテンションを持つ Transformer アーキテクチャを採用し、BPE や SentencePiece によるサブワードトークン化を用いて多言語データで学習する。
• 英語-フランス語および英語-ロシア語には BPE を使用し、40,000 回のマージを実行し、語彙サイズは 39,996 から 52,172 の範囲に収まる。英語-中国語には SentencePiece を使用する。
• 検証損失に基づく早期停止を適用し、最大 100 エポックまでモデルを訓練する。推論時にはビームサイズ 5 を使用する。
• 標準的な MT スコア（BLEU、COMET）と用語固有のスコア（正確一致精度、ウィンドウオーバーラップ、1-TERm）を用いてシステムを評価する。

実験結果

リサーチクエスチョン

• RQ1 訓練時データ拡張と用語タグ付けを用いることで、ニューラル機械翻訳における語彙的制約への適合性が向上するか？
• RQ2 制約トークンマスキング戦略が、矛盾する用語マッピングを扱う際のモデルの一般化能力とロバスト性を向上させるか？
• RQ3 推論時制約付きデコーディングと比較して、提案手法は用語精度と翻訳品質の両面で優れているか？
• RQ4 モノリンガルデータを活用することで、用語を含む訓練例の数をどの程度増やすことができるか？
• RQ5 近似的に完全な用語遵守を達成しつつも、高い翻訳品質（BLEU、COMET）を維持できるか？

主な発見

• TAG+MASK モデルは、英語-フランス語テストセットで 91.9% の正確一致精度を達成し、標準的な Transformer（32.5%）および制約付きデコーダー（85.6%）のベースラインを著しく上回った。
• 英語-フランス語セットでは、BLEU スコアが 44.90、COMET スコアが 0.681 に達し、高い翻訳品質と強固な用語遵守性を両立した。
• 英語-ロシア語では、正確一致精度が 84.9%、BLEU スコアが 29.13 に達し、屈曲語彙を持つ言語でも優れた性能を示した。
• 英語-中国語では、正確一致精度が 82.9%、BLEU スコアが 29.16 に達し、低リソースで非ラテン文字を使用する翻訳タスクへの適応性が確認された。
• ウィンドウオーバーラップ（2）および（3）のスコアは、全言語ペアで一貫した改善を示し、英語-フランス語ではそれぞれ 34.4% および 33.5% のオーバーラップを記録した。これは、用語がより適切な文脈的配置をとっていることを示している。
• 英語-フランス語における 1-TERm スコアが 0.598 であったことから、ベースラインと比較して用語関連の編集エラーが顕著に減少したことが示された。