[論文レビュー] Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric

Giorgos Vernikos, Brian J. Thompson+2 more|arXiv (Cornell University)|Sep 27, 2022

Natural Language Processing Techniques被引用数 10

ひとこと要約

この論文は、事前学習された文単位の機械翻訳（MT）評価指標—BERTScore、Prism、COMET、COMET-QE—を、前の文からの文脈を組み込むことで文書単位の指標へと拡張する簡単な手法を提案する。文脈を埋め込み段階で複数の文を入力することで、話法的現象において人間の評価との相関を最大6.1%向上させ、低品質な翻訳を除く85%のケースで文単位バージョンを上回る。

ABSTRACT

We hypothesize that existing sentence-level machine translation (MT) metrics become less effective when the human reference contains ambiguities. To verify this hypothesis, we present a very simple method for extending pretrained metrics to incorporate context at the document level. We apply our method to three popular metrics, BERTScore, Prism, and COMET, and to the reference free metric COMET-QE. We evaluate the extended metrics on the WMT 2021 metrics shared task using the provided MQM annotations. Our results show that the extended metrics outperform their sentence-level counterparts in about 85% of the tested conditions, when excluding results on low-quality human references. Additionally, we show that our document-level extension of COMET-QE dramatically improves its accuracy on discourse phenomena tasks, outperforming a dedicated baseline by up to 6.1%. Our experimental results support our initial hypothesis and show that a simple extension of the metrics permits them to take advantage of context to resolve ambiguities in the reference.

研究の動機と目的

• 事前学習されたMT指標が、人間の翻訳に曖昧性を含む場合に効果を失うかどうかを調査すること。
• 任意の事前学習された文単位指標を文書単位へと拡張する最小限で汎用性の高い手法を開発すること。
• 文書単位の文脈が人間のMT評価と一致するよう改善するかどうかを評価すること、特に話法的現象において。
• 誤りの伝搬を軽減する観点から、参照文の文脈と仮説文の文脈のどちらが効果的であるかを評価すること。
• 文書単位の指標が、全文書の文脈を考慮する人間の評価実践をよりよく反映していることを示すこと。

提案手法

• 埋め込み段階で、ターゲット文とその直前の2文を文脈としてモデルに供給することで、事前学習されたMT指標を拡張する。
• BERTScoreおよびPrismに関しては、BERTベースのモデルから得られる文脈に依存する埋め込みを用い、文脈付きの文単位スコアを計算する。
• COMETおよびCOMET-QEに関しては、元の指標アーキテクチャを維持したまま、ソース文の文脈を同様に組み込む。
• 元の文単位指標と同じスコアリングメカニズムを用いるが、文脈に配慮した表現を用いる。
• WMT 2021の言語ペアおよびドメインで、4つの指標（BERTScore、Prism、COMET、COMET-QE）にこの手法を適用する。
• 参照文と仮説文の両方の文脈をアブレーションとして用い、MQMの人間評価とのシステムレベルの相関を評価する。

実験結果

リサーチクエスチョン

• RQ1 文書単位の文脈を組み込むことで、事前学習されたMT指標と人間の評価との相関が向上するか？
• RQ2 文書単位の指標性能において、参照文の文脈と仮説文の文脈のどちらが効果的か？
• RQ3 スコアリングの向上に最適な文脈の長さ（例：1文、2文）はどの程度か？
• RQ4 文書単位の指標が、人間の翻訳の曖昧性をどの程度解消できるか？
• RQ5 COMET-QEの文書単位への拡張が、代名詞の解消や語義の曖昧性解消といった話法特有のタスクで性能向上をもたらすか？

主な発見

• 低品質な翻訳を除くと、4つの指標すべての文書単位拡張版は、85%のテスト条件下で文単位バージョンを上回り、特にZh→Enニュースにおいて顕著である。
• COMET-QEの文書単位拡張版は、文単位バージョンに比べて話法的現象のスコアで最大6.1%向上させ、翻訳の曖昧性の解消が向上したことを示している。
• 仮説文の文脈ではなく参照文の文脈を使用することで、より良い性能が得られ、これは仮説文の文脈に誤りが多く含まれ、それらが伝搬して指標の信頼性を低下させるためである。
• 1文から2文の文脈に増やすことで相関が一般的に向上するが、Zh→Enニュースのような低品質な翻訳では性能が低下する。
• この手法は、すべての言語ペア（En→De、Zh→En、En→Ru）およびドメイン（TEDトークス、ニュース）で一貫した改善を示し、話法に敏感なタスクでより大きな効果を上げている。
• 結果は、参照文に曖昧性が多く含まれており、文書単位の文脈によってそれが解消されること、そして現在の指標が文脈なしではこれを捉えられていないという仮説を支持している。