[論文レビュー] Regressive Ensemble for Machine Translation Quality Evaluation

Michal Štefánik, Vít Novotný+1 more|arXiv (Cornell University)|Sep 15, 2021

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

この論文では、表面的、句構造的、意味的特性を捉える多様な機械翻訳評価指標——表面、構文、意味——を1つの線形回帰フレームワークに統合する回帰的アンサンブルモデル、RegEMTを提案する。これにより、専門家によるMQMスコアとの相関が向上する。単一言語およびゼロショット多言語設定において、最先端の性能を達成しており、参照なしのベースライン（Reg-base）がBLEU や METEOR を上回る。また、未学習言語への強力な一般化性能を示している。

ABSTRACT

This work introduces a simple regressive ensemble for evaluating machine translation quality based on a set of novel and established metrics. We evaluate the ensemble using a correlation to expert-based MQM scores of the WMT 2021 Metrics workshop. In both monolingual and zero-shot cross-lingual settings, we show a significant performance improvement over single metrics. In the cross-lingual settings, we also demonstrate that an ensemble approach is well-applicable to unseen languages. Furthermore, we identify a strong reference-free baseline that consistently outperforms the commonly-used BLEU and METEOR measures and significantly improves our ensemble's performance.

研究の動機と目的

• 翻訳の表面的、構文的、意味的特性を捉える複数の指標を統合することで、機械翻訳品質評価を向上させること。
• アンサンブルアプローチが、ゼロショット多言語設定における未学習の言語ペアに一般化できるかどうかを調査すること。
• 特に従来の参照ベース指標と比較して、参照なしの表面レベル指標の性能を評価すること。
• 文脈を考慮したトークン表現と文脈を考慮しない表現が、評価性能に与える影響を評価すること。
• 異なる評価信号の直交性を活用したアンサンブル学習によって、個々の指標の盲点を低減すること。

提案手法

• BLEU、METEOR、BERTScore、WMD、Prism、および新規指標を含む15種類以上の指標の組み合わせを用いて、線形回帰モデルを学習することで、回帰的アンサンブル（RegEMT）を構築する。
• MQMスコアとの相関に寄与が最小限の指標を段階的に削除するバックワードエリミネーションプロセスを採用する。
• 多言語WordPieceトークナイザーから得られるソースおよびターゲット長の特徴のみを用いる、参照なしのベースライン「Reg-base」を導入する。
• 意味的類似度の測定に、FastTextおよびBERTベースの文脈的埋め込みを用い、WMDおよびソフトコサイン測度を文単位の類似度測定に使用する。
• WMT 2021 MQMデータセットを用い、平均化された人間の判断をゴールスタンダードとして適用する。
• 独自のソースコードおよびDockerデプロイメントを提供することで、再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 多様な指標の回帰的アンサンブルは、単一指標と比較して、専門家によるMQMスコアとの相関を顕著に向上させることができるか？
• RQ2 このようなアンサンブルは、未学習の言語ペアを含むゼロショット多言語設定においても、効果的に一般化できるか？
• RQ3 単純な参照なしの表面レベル指標（Reg-base）は、BLEU や METEOR といった既存の指標を上回ることができるか？
• RQ4 文脈を考慮した埋め込みが、文脈を考慮しない、またはTF-IDF強化済みの埋め込みよりも一貫した利点を提供するか？
• RQ5 アンサンブル内の個々の指標は、最終的な相関にどの程度寄与しているのか？また、性能に最も寄与しているのはどの指標か？

主な発見

• RegEMTアンサンブルは、en-de、en-cs、および多言語ゼロショット設定を含む、すべての言語ペアにおいて、単一指標よりも顕著に高いスピアマン相関を達成する。
• 参照なしのReg-baseベースラインは、BLEU や METEOR を常に上回り、多言語トークナイザーからの長さ特徴が評価の強固な基盤を提供できることを示している。
• アブレーションスタディでは、相関が低い指標を削除してもアンサンブルの性能が維持され、en-deではWMD-decontextualized-tfidfおよびPrismが最後に削除される。
• アンサンブルは強い一般化性能を示し、未学習の言語ペアでも高い性能を維持しており、多言語指標が一般化に寄与していることが示唆される。
• 文脈を考慮した指標、特にBERTScoreおよびWMD-contextualがアンサンブルの性能に最も寄与している。一方、文脈を考慮しないバージョンは混合結果を示し、一部（例：WMD-decontextualized-tfidf）は文脈を考慮したバージョンよりも16–18%向上している。
• アンサンブルはその構成要素からの系統的バイアスを引き継ぐ。en-deペアでは、個々の指標の低相関がアンサンブルにまで伝播しており、全体的な向上にもかかわらず、主な制限要因であることが明らかになった。