[論文レビュー] Zero-Shot Translation Quality Estimation with Explicit Cross-Lingual Patterns

Lei Zhou, Liang Ding+1 more|arXiv (Cornell University)|Oct 10, 2020

Topic Modeling参考文献 31被引用数 11

ひとこと要約

本稿では、BERTScoreを改善するため、明示的なクロスリンガルパターン—語の対応マスクと生成スコア（パープレキシティ）—を組み込むことで、トークンレベルの不一致エラーを低減するゼロショット翻訳品質推定（QE）手法を提案する。この手法は、教師ありQEモデルと同等の性能を達成し、WMT 2020 QE共有タスクの6つの翻訳方向のうち2つで、それらを上回る性能を発揮した。

ABSTRACT

This paper describes our submission of the WMT 2020 Shared Task on Sentence Level Direct Assessment, Quality Estimation (QE). In this study, we empirically reveal the \ extit{mismatching issue} when directly adopting BERTScore to QE. Specifically, there exist lots of mismatching errors between the source sentence and translated candidate sentence with token pairwise similarity. In response to this issue, we propose to expose explicit cross-lingual patterns, \ extit{e.g.} word alignments and generation score, to our proposed zero-shot models. Experiments show that our proposed QE model with explicit cross-lingual patterns could alleviate the mismatching issue, thereby improving the performance. Encouragingly, our zero-shot QE method could achieve comparable performance with supervised QE method, and even outperforms the supervised counterpart on 2 out of 6 directions. We expect our work could shed light on the zero-shot QE model improvement.

研究の動機と目的

• BERTScoreに基づくゼロショットQEにおける不一致問題に対処すること。これは、クロスリンガルなガイダンスが不足しているため、元文と翻訳文のトークンが誤って対応付けられるためである。
• 人間がアノテートした参照文やファインチューニングを必要とせずに、ゼロショットQEの性能を向上させること。
• 語の対応や生成スコアといった明示的なクロスリンガル信号が、参照なしQEのロバスト性と正確性を向上させられるかどうかを調査すること。
• 単純でファインチューニングを行わないBERTScoreのバックボーンに、クロスリンガルパターンを追加することで、競争力のある結果が得られることを示すこと。

提案手法

• マルチリンガルBERTとXLMを採用し、元文と翻訳文を共有の意味的空間に埋め込むことで、クロスリンガルな比較を可能にする。
• 文脈的埋め込みのドット積類似度に基づいて、グリーディマッチングを適用し、元文のトークンを最も類似度の高い翻訳文のトークンにマッピングする。
• GIZA++で得られた語の対応を用いたクロスリンガル対応マスクを導入し、トークンのマッチングをガイドすることで、不一致エラーを低減する。
• 事前に訓練されたクロスリンガルモデルを用いて、強制デコードされた翻訳文トークンの生成スコア（パープレキシティ）を統合し、類似度スコアに重みを付ける。
• 対応マスクとパープレキシティスコアを重み付き融合によってBERTScoreと統合し、マッチングの正確性を向上させる。
• WMT 2020 QE共有タスクにおいて、ピアソン相関とケンダールのtauを、Direct Assessment（DA）スコアとの評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 BERTScoreを用いたゼロショットQEにおいて、明示的なクロスリンガルパターンがトークンレベルの不一致を緩和できるか？
• RQ2 語の対応と生成スコアを統合することで、予測されたQEスコアと人間によるDirect Assessment（DA）スコアの相関が向上するか？
• RQ3 ファインチューニングを行わないゼロショットQEモデルが、特定の翻訳方向で教師ありベースラインを上回ることができるか？
• RQ4 本手法は、特に低リソース言語ペアを含む多様な言語ペアにおいて、どの程度有効であるか？

主な発見

• 対応マスクとパープレキシティスコアの両方を適用した本手法は、en-deで0.099、en-zhで0.189、ru-enで0.332のピアソン相関を達成し、これらの翻訳方向でベースラインのBERTScoreを上回った。
• ru-en方向では、ピアソン相関が0.332に達し、同じテストセットで教師ありベースライン（0.146）を上回った。
• 本モデルは6つの翻訳方向のうち2つ（ru-en と si-en）で教師ありベースラインを上回り、強力なゼロショット一般化性能を示した。
• パープレキシティスコアの統合のみでも、大多数の翻訳方向で性能向上が見られ、en-deで最高のピアソン相関0.105、ro-enで0.439を記録した。
• アブレーションスタディの結果、対応マスクとパープレキシティスコアの両方が独立して性能向上に寄与しており、併用した場合が最も優れた結果を出した。
• 定性的な例から、本手法は不一致エラーを顕著に低減したことが示された。例えば、ロシア語のトークン 'Назва' が 'The' ではなく 'named' に正しく対応付けられた。