[論文レビュー] On the Evaluation of Machine Translation for Terminology Consistency

Md Mahfuz ibn Alam, Antonios Anastasopoulos+5 more|arXiv (Cornell University)|Jun 22, 2021

Natural Language Processing Techniques被引用数 10

ひとこと要約

本稿では、ニューラル機械翻訳（NMT）における用語の一貫性を評価するためのメトリクスのセットを提案する。文単位のメトリクス（例：TERm）と用語固有の測定値（正確一致の正答率と用語ウィンドウオーバーラップ）を組み合わせたものである。著者らは、5ヶ国語のCOVID-19データを用いた実験を通じて、これらのメトリクスが、用語を正しく適用するMTシステムとそうでないものを効果的に区別できることを示した。これは、用語誤りの検出においてBLEUなどの標準メトリクスを上回る性能を示している。

ABSTRACT

As neural machine translation (NMT) systems become an important part of professional translator pipelines, a growing body of work focuses on combining NMT with terminologies. In many scenarios and particularly in cases of domain adaptation, one expects the MT output to adhere to the constraints provided by a terminology. In this work, we propose metrics to measure the consistency of MT output with regards to a domain terminology. We perform studies on the COVID-19 domain over 5 languages, also performing terminology-targeted human evaluation. We open-source the code for computing all proposed metrics: https://github.com/mahfuzibnalam/terminology_evaluation

研究の動機と目的

• NMT出力における用語の一貫性を特に測定する評価メトリクスの不足に対処すること。
• 特に制約付きデコードや用語拡張設定において、MTシステムがドメイン固有の用語を正しく適用しているかどうかを検出できるメトリクスを開発すること。
• 人間によるアノテーションデータと照合することで、メトリクスの性能を検証し、人間の判断と整合するようにすること。
• 標準メトリクス（例：BLEU）が、用語の不一致を検出できないこと、すなわち、それらが用語の一貫性評価に不適切であることを示すこと。
• 再現可能性とNMT評価パイプラインへの広範な採用を促進するため、オープンソースコードを提供すること。

提案手法

• 3つのコアメトリクスを提案：TERm（用語に対するTERスコアの1 - ）、正確一致正答率（正しく翻訳された用語の割合）、用語ウィンドウオーバーラップ（翻訳済み用語の周囲の意味的文脈の一貫性）。
• TICO-19用語集とテストセットを用いて、5つの言語対（例：英語-フランス語、英語-ロシア語）における制約付きおよび非制約付きNMTシステムの出力にこれらのメトリクスを適用する。
• 人間によるアノテーションデータを用いてメトリクスの性能を検証し、バイリンガルのアノテーターに用語が正しく翻訳されたかどうか、およびその文脈が保持されたかどうかを判断してもらう。
• 文単位のメトリクス（例：BLEU、TERm）と用語固有のメトリクスを組み合わせ、正しい翻訳と誤った翻訳を区別するための識別力の検証を行う。
• 用語拡張NMTシステム（TLA）の出力に対してこれらのメトリクスを評価し、用語処理の改善を検証する。
• 統計的有意性検定（p値）を用いて、メトリクスと人間の判断との相関を評価し、p > 0.2 の結果は除外する。

実験結果

リサーチクエスチョン

• RQ1 BLEU などの既存のNMT評価メトリクスは、用語翻訳の不一致を検出できるか？
• RQ2 提案されたメトリクス（TERm、ウィンドウオーバーラップ、正確一致）は、用語の正しさに関する人間の判断とどの程度相関するか？
• RQ3 文単位のメトリクスと用語固有のメトリクスを組み合わせることで、用語を正しく適用するMTシステムとそうでないものを効果的に区別できるか？
• RQ4 用語拡張NMTシステムは、ベースラインシステムと比較して、どの程度用語の一貫性が向上するか？
• RQ5 ウィンドウオーバーラップは、MT出力における文脈的に適切な用語使用の指標として信頼できるか？

主な発見

• BLEU などの標準メトリクスは、用語翻訳が正しくても誤っても、差が顕著に現れず、用語の一貫性評価には不適切であることが判明した。
• TERm だけでは、用語固有の文脈を考慮しないため、正しくもしくは誤って翻訳された用語を区別できない。
• TERm と用語ウィンドウオーバーラップの組み合わせは、強い識別力を持つ。誤ったまたは欠落した用語翻訳の90％が、低スコアのウィンドウオーバーラップを示した。
• 人間によるアノテーション結果から、高スコアのウィンドウオーバーラップは、用語の正しく翻訳されたことを強く示しており（図3の青点）、低スコアはエラーを示している（オレンジ点）ことから、検出精度が非常に高いことが確認された。
• 用語をターゲット語の語形素としてアノテートする方法を採用したTLAシステムは、4つの言語対（En-Ger, En-Est, En-Lit, En-Lat）において、すべての用語一貫性メトリクスでベースラインを著しく上回った。
• 本研究では、正確一致正答率やウィンドウオーバーラップといったメトリクスが、特に低リソースや緊急分野（例：COVID-19）において、標準的なコーパスレベルのメトリクスよりも用語処理の感度が高まることを示した。