[論文レビュー] Machine Translation Evaluation using Bi-directional Entailment

Rakesh Khobragade, Heaven Patel+3 more|arXiv (Cornell University)|Nov 2, 2019

Natural Language Processing Techniques参考文献 17被引用数 5

ひとこと要約

本稿では、機械翻訳出力と参照翻訳の間の意味的類似性を評価するために、ファインチューニングされた BERT を用いた双方向テクスト帰納法に基づく新しい機械翻訳評価指標を提案する。両方向での帰納法を評価することで、人間の判断との相関が高まり（WMT'14 で平均 0.957）、BLEU や LAYERED といった従来の指標よりも優れた性能を示し、意味的十分性をよりよく捉えていることが実証された。

ABSTRACT

In this paper, we propose a new metric for Machine Translation (MT) evaluation, based on bi-directional entailment. We show that machine generated translation can be evaluated by determining paraphrasing with a reference translation provided by a human translator. We hypothesize, and show through experiments, that paraphrasing can be detected by evaluating entailment relationship in the forward and backward direction. Unlike conventional metrics, like BLEU or METEOR, our approach uses deep learning to determine the semantic similarity between candidate and reference translation for generating scores rather than relying upon simple n-gram overlap. We use BERT's pre-trained implementation of transformer networks, fine-tuned on MNLI corpus, for natural language inferencing. We apply our evaluation metric on WMT'14 and WMT'17 dataset to evaluate systems participating in the translation task and find that our metric has a better correlation with the human annotated score compared to the other traditional metrics at system level.

研究の動機と目的

• BLEU などの n-gram 重複に基づく指標よりも、意味的類似性をよりよく捉える機械翻訳評価指標の開発を目的とする。
• 一方向の帰納法ではなく、双方向帰納法が翻訳品質評価におけるパラフレーズ化および意味的同等性の信頼できる代理指標として機能するかを調査すること。
• 語彙的重複ではなく、意味的類似性を深層学習で捉えることで、人間の判断とのシステムレベルの相関を向上させること。
• MNLI でファインチューニングされた BERT が翻訳評価における多言語的帰納法にどの程度有効であるかを評価すること。
• 一方向の帰納法の限界を明らかにし、非対称な意味的関係をペナルティ化する製品ベースのスコアリング機構を提案すること。

提案手法

• MNLI コーパス上で BERT のベース・アンキャストモデルをファインチューニングし、翻訳評価用の文対帰納法分類器を構築する。
• 帰納法モデルを用いて、候補翻訳と参照翻訳の間の前向きおよび後向き帰納法スコアを計算する。
• 前向きおよび後向き帰納法確率の積として最終スコアを算出し、双方向的意味的同等性を強制する。
• WMT’14 および WMT’17 データセットにモデルを適用し、人間がアノテートしたスコアと比較してシステムレベルの性能を評価する。
• エンド・ツー・エンドのトークン化に BERT のトークナイザーを適用し、シーケンス長 128、バッチサイズ 8、学習率 2e-5、エポック数 3 で学習する。
• 結果の妥当性を検証するために、99%信頼水準の片側対応 t 検定を用いた統計的有意性検定を実施する。

実験結果

リサーチクエスチョン

• RQ1 双方向帰納法検出は、機械翻訳評価における意味的類似性の信頼できる指標として機能するか？
• RQ2 BLEU や METEOR といった従来の n-gram 指標と比較して、BERT を用いた帰納法モデルは人間の判断との相関でどの程度優れているか？
• RQ3 前向きおよび後向き帰納法スコアの積は、片方向スコアと比較して人間の翻訳品質認識をよりよく反映しているか？
• RQ4 MNLI でファインチューニングされた BERT は、他の意味的類似性手法と比較して翻訳評価タスクでどの程度性能を向上させるか？
• RQ5 提案された指標は、LAYERED や DiscoTK-Party といった最先端の指標を上回り、人間スコアとのシステムレベルの相関を凌駆することができるか？

主な発見

• 提案された Bi-Di-Ent 指標は、WMT’14 データセットで人間の判断との平均システムレベル相関が 0.957 を達成し、BLEU（0.871）および LAYERED（0.915）を上回った。
• WMT’17 では、平均相関が 0.956 と2番目に高く、トップスコアの 0.960 に次ぐ性能を示し、lv-en および tr-en を除く全言語対で BLEU を上回った。
• WMT’17 において、de-en および ru-en 言語対で、全評価指標の中で最高の相関を記録した。
• 統計的有意性検定により、片側対応 t 検定（99%信頼水準）において結果が有意であることが確認された。
• 手動分析の結果、人間がより良いと判断した翻訳に対して指標がより高いスコアを付与しており、意味の一般化に起因する一方的な帰納法のケースを正しくペナルティ化していることがわかった。
• 本手法は、双方向帰納法が機械翻訳におけるパラフレーズ化および意味的十分性の強力な指標であることを示している。