[論文レビュー] RoBLEURT Submission for the WMT2021 Metrics Task

Yu Wan, Dayiheng Liu+7 more|arXiv (Cornell University)|Apr 28, 2022

Speech Recognition and Synthesis被引用数 7

ひとこと要約

この論文では、合成データにおける継続的事前学習と再スコアリングによるデータノイズ除去を組み合わせることで、元の翻訳と出力の両方を含むモデルと、出力のみのモデルを統合した、ロバストに訓練されたメトリクスモデルRoBLEURTを提示する。WMT2020ベンチマークにおける10の英語から他の言語への翻訳ペアのうち8つで、人間の評価との相関が最先端水準に達している。

ABSTRACT

In this paper, we present our submission to Shared Metrics Task: RoBLEURT (Robustly Optimizing the training of BLEURT). After investigating the recent advances of trainable metrics, we conclude several aspects of vital importance to obtain a well-performed metric model by: 1) jointly leveraging the advantages of source-included model and reference-only model, 2) continuously pre-training the model with massive synthetic data pairs, and 3) fine-tuning the model with data denoising strategy. Experimental results show that our model reaching state-of-the-art correlations with the WMT2020 human annotations upon 8 out of 10 to-English language pairs.

研究の動機と目的

• 低リソースおよび高リソース言語ペアにわたる一般化が可能な、ロバストで高性能な機械翻訳評価用メトリクスモデルの開発。
• N-gramベースのメトリクスが意味的整合性や言い換えを捉えきれないという限界の解消。
• 多言語および単言語モデル戦略を統合することで、人間の評価との相関を向上。
• 合成データにおける継続的事前学習と、ノイズ除去された現実世界データによるファインチューニングを通じて、モデルのロバスト性の向上。
• ソースを含むモデルとソースを含まないモデルの組み合わせが、全体の性能を向上させるかの調査。

提案手法

• モデルは、ベースエンコーダーとしてRoBERTa-largeを使用し、別個のバリアントとして、RoBLEURT- Src（ソース入力を含む）およびRoBLEURT- NoSrc（出力と翻訳のみ）を採用。
• RoBLEURT- Srcの入力フォーマットでは、[src] [hyp] [ref]という構造を特殊トークンで構成する一方、RoBLEURT- NoSrcは複数の入力を処理するための変更を加えたフォーマットを採用。
• [CLS]トークンの表現に線形回帰ヘッドを適用し、意味的整合性を反映するスカラー得点を予測。
• 一般化性能の向上を図るため、強力なMTシステムから生成された大量の合成データペアを用いて継続的事前学習を実施。
• ファインチューニング段階では、2018年から2019年のWMTデータにノイズが含まれているが、これを強力なメトリクスベースラインを用いて再スコアリングした後、モデルの学習に使用。
• 両モデルの出力を重み付き平均化することで、ソースを含むモデルと含まないモデルの両方の長所を活用。

実験結果

リサーチクエスチョン

• RQ1 ソースを含むモデルとソースを含まないモデルの統合は、多様な言語ペアにおいて性能向上をもたらすか？
• RQ2 合成データにおける継続的事前学習は、トレーナブルなMTメトリクスのロバスト性と一般化性能を向上させるか？
• RQ3 強力なベースラインを用いた再スコアリングによるデータノイズ除去は、ファインチューニング性能の向上にどの程度効果的か？
• RQ4 低リソースおよび高リソース設定において、モデルの組み合わせは個々のモデルを上回る性能を発揮するか？
• RQ5 微調整済みチェックポイント（例：XNLI）を備えたRoBERTaベースのモデルは、標準的なBERTベースのメトリクスモデルを上回る性能を発揮できるか？

主な発見

• RoBERTa-large-xnliチェックポイントを用いたRoBLEURT- Srcは、cs-en、de-en、ja-en、ru-en、zh-enそれぞれで14.1、47.9、28.7、11.7、14.9のケンダールtau相関を達成。
• RoBERTa-largeをRoBERTa-baseに比べて使用することで性能が向上し、さらに微調整済みのRoBERTa-large-xnliチェックポイントを用いることでさらなる向上が得られた。
• トレーニング中にノイズの多いWMTデータを除去すると性能が低下するが、再スコアリングと再導入により顕著な向上が見られた。
• RoBLEURT- SrcとRoBLEURT- NoSrcのモデル組み合わせにより、個々のモデルを上回る性能向上が得られ、特に低リソース設定で顕著であった。
• 合成事前学習とノイズ除去を含む包括的なパイプラインにより、WMT2020ベンチマークの10の翻訳ペアのうち8つで最先端の相関が達成された。