[論文レビュー] Revisiting Round-Trip Translation for Quality Estimation

Jihyung Moon, Hyunchang Cho+1 more|arXiv (Cornell University)|Apr 29, 2020

Natural Language Processing Techniques参考文献 26被引用数 14

ひとこと要約

この論文は、BLEUなどの語彙的メトリクスの代わりにSBERTおよびBERTScoreに基づく意味的類似度測定を用いて、機械翻訳品質推定のための往復翻訳（RTT）を再考する。WMT19において、これらの意味的メトリクスを用いたRTTは人間の判断と最も高い相関を示し、YiSi-2などの最先端のQE手法を上回り、異なる逆翻訳システムおよびSMTとNMTの両方の前方翻訳モデルに対して頑健であることを示している。

ABSTRACT

Quality estimation (QE) is the task of automatically evaluating the quality of translations without human-translated references. Calculating BLEU between the input sentence and round-trip translation (RTT) was once considered as a metric for QE, however, it was found to be a poor predictor of translation quality. Recently, various pre-trained language models have made breakthroughs in NLP tasks by providing semantically meaningful word and sentence embeddings. In this paper, we employ semantic embeddings to RTT-based QE. Our method achieves the highest correlations with human judgments, compared to previous WMT 2019 quality estimation metric task submissions. While backward translation models can be a drawback when using RTT, we observe that with semantic-level metrics, RTT-based QE is robust to the choice of the backward translation system. Additionally, the proposed method shows consistent performance for both SMT and NMT forward translation systems, implying the method does not penalize a certain type of model.

研究の動機と目的

• 人間の翻訳なしに、品質推定（QE）のための往復翻訳（RTT）が有効であるか再評価すること。
• 語彙的メトリクス（例：BLEU）の限界を克服できるか、意味レベルの類似度測定を用いることで、RTTに基づくQEの性能が向上するかを調査すること。
• SMTとNMTの両方の前方翻訳アーキテクチャにおいて、RTTに基づくQEの多様な逆翻訳システムおよび前方翻訳アーキテクチャに対する頑健性を評価すること。
• あるメトリクスの言い換え検出能力が、RTTに基づくQEにおけるその性能とどの程度相関しているかを特定すること。

提案手法

• 元の入力文とその往復翻訳（RTT）との間の意味的類似度を、SBERTおよびBERTScoreを用いて計算する。
• 事前学習済み言語モデルを用いて文の文脈的埋め込みを生成し、意味的類似度を計算する。
• SBERT埋め込み間のコサイン類似度と、単語レベルの埋め込み間のBERTScore F1スコアを用いて、文レベルの類似度を測定する。
• WMT19品質推定データセットにおける人間の判断とのピアソン相関を用いて、RTTに基づくQEを評価する。
• 異なる逆翻訳システムおよび前方翻訳システム（SMTとNMT）の間で性能を比較する。
• PAWSデータセットにおけるメトリクスの性能を評価し、言い換え検出能力を測定する。

実験結果

リサーチクエスチョン

• RQ1 SBERT や BERTScore などの意味的類似度メトリクスは、BLEU などの語彙的メトリクスと比較して、RTTに基づく品質推定の性能を向上させることができるか？
• RQ2 RTTに基づくQEは、逆翻訳システムの変化に対してどの程度頑健か？
• RQ3 SMT と NMT の両方の前方翻訳アーキテクチャにおいて、RTTに基づくQEは一貫して性能を発揮するか？
• RQ4 RTTに基づくQEの性能は、メトリクスの言い換え文の検出能力とどの程度相関しているか？

主な発見

• RTT-SBert および RTT-BERTScore は、WMT19 QE共有タスクにおいて人間の判断とのピアソン相関が最も高く、YiSi-2 や他のベースラインを上回った。
• RTT-SBert および RTT-BERTScore は、異なる逆翻訳システムにおいて一貫した性能を示し、BTモデルの選択に対して頑健であることが示された。
• 前方翻訳システムの差が大きい場合でも、BLEU と同等の性能を示したため、強力な一般化能力があることが示唆された。
• SBERT および BERTScore は、語順が入れ替わったり再表現されたりした入力においても、語彙的メトリクス（BLEU や chrF）を著しく上回る言い換え文検出能力を示した。
• PAWSデータセットにおけるAUCスコアは、SBERTおよびBERTScoreが優れた言い換え文検出能力を持っていることを確認し、これはRTTに基づくQE性能の向上と直接相関していた。
• 本研究では、意味的言い換えを検出できる能力が、意味的メトリクスを用いたRTTベースのQEに成功する鍵要因であると判明した。