[論文レビュー] CometKiwi: IST-Unbabel 2022 Submission for the Quality Estimation Shared Task

Ricardo Rei, Marcos Treviso+10 more|arXiv (Cornell University)|Sep 13, 2022

Topic Modeling被引用数 33

ひとこと要約

CometKiwi は Comet と OpenKiwi のアーキテクチャを組み合わせ、WMT 2022 QE タスクに取り組み、強力な多言語一般化、効果的な少数ショット適応、そして注意機構と勾配を融合させた新しい説明可能性手法を示します。

ABSTRACT

We present the joint contribution of IST and Unbabel to the WMT 2022 Shared Task on Quality Estimation (QE). Our team participated on all three subtasks: (i) Sentence and Word-level Quality Prediction; (ii) Explainable QE; and (iii) Critical Error Detection. For all tasks we build on top of the COMET framework, connecting it with the predictor-estimator architecture of OpenKiwi, and equipping it with a word-level sequence tagger and an explanation extractor. Our results suggest that incorporating references during pretraining improves performance across several language pairs on downstream tasks, and that jointly training with sentence and word-level objectives yields a further boost. Furthermore, combining attention and gradient information proved to be the top strategy for extracting good explanations of sentence-level QE models. Overall, our submissions achieved the best results for all three tasks for almost all language pairs by a considerable margin.

研究の動機と目的

• WMT 2022 QE 共有タスクへの IST-Unbabel 共同提出を通じて、多言語品質推定（QE）のモチベーションを高める。
• Comet のフレームワークを OpenKiwi の predictor–estimator と組み合わせ、文レベルおよび語レベルの QE を実現する。
• 参照データを豊富に含むデータでの事前学習と、未知言語に対する少数ショット適応を調査する。
• 注意機構と勾配ベースの説明による解釈可能な QE を開発し、ヘッド認識型集約を行う。
• 3 つの QE サブタスク（文レベル、語レベル、説明可能 QE）のすべてで、強力かつ一貫した改善を実証する。

提案手法

• predictor–estimator アーキテクチャと語レベルのシーケンス・タグ付けモデルを組み込み、Comet フレームワークを拡張する。
• Metrics 共有タスクの Direct Assessments (DAs) に対して、参照付き目的関数を用いて QE モデルを事前学習する。
• MLQE-PE と MQM データでファインチューニングし、複数の多言語バックボーン（XLM-R, InfoXLM, RemBERT）を試す。
• 多言語一般化を向上させるため、文レベルと語レベルの訓練目的を結合損失で実装する。
• 注意機構と GradNorm を組み合わせた Explainable QE を開発し、より良い説明のために Attention ヘッドを重みづけする Head Mix モジュールを導入する。
• 語レベルタスクには言語プレフィックス・トークンを用いてゼロショット適応を補助し、ロバスト性向上のために複数モデルをアンサンブルする。
• 言語ペアを横断して Direct Assessments と MQM で評価し、Explainable QE と Critical Error Detection の制約付き／制約なし設定を比較する。

実験結果

リサーチクエスチョン

• RQ1 語レベルの tagging を備えたハイブリッドな Comet–OpenKiwi アーキテクチャは、文レベルおよび語レベルタスク全体で多言語 QE の性能をどのように向上させるか？
• RQ2 参照リッチな metrics データで QE モデルを事前学習し、事前学習中に参照を取り入れることは、言語ペア間で下流の QE パフォーマンスを改善するか？
• RQ3 500例のみを用いた少数ショット適応は、既知のパフォーマンスを損なうことなく未知の言語ペアへ一般化できるか？
• RQ4 勾配強化付き注意説明とヘッド認識型集約は、言語ペアおよびゼロショットケースで Explainable QE を改善するか？
• RQ5 DA および MQM データの両方に対するエンコーダと監督信号をまたぐアンサンブル戦略はどの程度機能するか？

主な発見

エンコーダ	km-en	ps-en	en-ja	en-cs	en-mr	ru-en	ro-en	en-zh	en-de	et-en	si-en	ne-en	平均
Final Ensemble	0.666	0.669	0.380	0.591	0.593	0.782	0.871	0.597	0.593	0.845	0.588	0.820	0.666

• The ensemble of six multilingual systems achieved state-of-the-art Spearman 0.572 on sentence-level DA (+7% vs. second best).
• Word-level MCC reached 0.341, outperforming the second-best by +2.4%.
• Explainable QE R@K reached 0.486, about +10% over the second-best system.
• Pretraining on Metrics data and including references during training improve downstream QE correlations across multiple language pairs.
• Few-shot adaptation with 500 examples yields 2–3% gains on unseen language pairs without harming correlations on seen pairs.
• Attention × GradNorm with Head Mix provides superior explanations and helps identify good heads for zero-shot languages.