[論文レビュー] MLQE-PE: A Multilingual Quality Estimation and Post-Editing Dataset

Marina Fomicheva, Shuo Sun+8 more|arXiv (Cornell University)|Oct 9, 2020

Natural Language Processing Techniques参考文献 21被引用数 16

ひとこと要約

本稿では、機械翻訳品質推定（QE）および自動後処理（APE）を目的とした多言語データセット MLQE-PE を紹介する。本データセットは11の言語対、文単位の直接的評価、語単位の良し/悪いラベル、および後処理済み翻訳を特徴としており、特に神経機械翻訳（NMT）モデルへのアクセスを提供する点で独自性を有する。これにより、ガラスボックス型QEアプローチが可能となり、高・中・低リソース言語対において品質推定と後処理の両方をカバーする。広範なベンチマークで強い実証的結果を示した。

ABSTRACT

We present MLQE-PE, a new dataset for Machine Translation (MT) Quality Estimation (QE) and Automatic Post-Editing (APE). The dataset contains eleven language pairs, with human labels for up to 10,000 translations per language pair in the following formats: sentence-level direct assessments and post-editing effort, and word-level good/bad labels. It also contains the post-edited sentences, as well as titles of the articles where the sentences were extracted from, and the neural MT models used to translate the text.

研究の動機と目的

• 既存のQEデータセットに公開された神経機械翻訳（NMT）モデルが不足している問題に対処し、ガラスボックス型および不確実性に基づくQEアプローチを可能にする。
• 直接的評価と後処理作業を1つのデータセットに統合し、翻訳品質と後処理コストの相関分析を可能にする。
• QEが最も必要とされるが、現状では不足している中・低リソース言語対（例：ネパリ語-英語、僧伽羅語-英語）を含む。
• 記事のタイトルを通じて文書レベルの文脈を提供し、文脈に配慮した品質推定を向上させる。
• 後処理の両方の研究を支援するため、後処理済み文と参照翻訳を含む。

提案手法

• データセットはWikipediaの記事を用いて構築され、最新のオープンソースNMTモデル（fairseq）を用いて文を抽出・翻訳した。
• 人間のアノテーターが1言語対あたり10,000文について直接的評価（DA）および後処理作業を実施し、ゼロショット評価用に追加で2,000文を用意した。
• 機械翻訳出力の誤りを特定するために、語単位の良し/悪いラベルを割り当てた。
• 後処理済み文を収集し、元の翻訳および元のテキストとペアにしてAPEの学習・評価に使用した。
• 品質推定における文書レベルの文脈モデリングを可能にするために、記事のタイトルを含めた。
• 共有エンコーダデコーダアーキテクチャを用い、XLM-RoBERTaを微調整してDAおよびHTER（人間翻訳誤り率）の両タスクに適応したベースラインモデルを訓練した。

実験結果

リサーチクエスチョン

• RQ1 多様な言語対において、翻訳品質の直接的評価と後処理作業の間にはどのような相関関係があるか？
• RQ2 下流のNMTモデルへのアクセスが、品質推定性能をどの程度向上させるか？
• RQ3 QEモデルは高・中・低リソース言語対の間でどの程度一般化できるか？
• RQ4 記事タイトルによる文書レベルの文脈が、文単位および語単位の品質推定をどの程度向上させるか？
• RQ5 統合型モデルは品質推定と後処理の両タスクでどの程度の性能を示すか？

主な発見

• ルーマニア語-英語対において、直接的評価のピアソン相関係数が0.818に達し、中リソース言語対で優れた性能を示した。
• HTER予測において、ルーマニア語-英語対で0.862の相関係数を達成し、後処理作業の推定において高い一貫性を示した。
• 語単位の予測において、ネパリ語-英語対で「悪い」語のF1スコアが0.828に達し、低リソース言語対でも優れた性能を示した。
• 全言語対における「良い」語の平均F1スコアは語単位で0.717であり、正しい翻訳の検出が信頼できることが示された。
• 全言語対における直接的評価の平均ピアソン相関係数は0.541であり、人間の判断と中程度から強い一致を示した。
• 本データセットはWMT2020およびWMT2021の共同タスクでも成功裏に活用され、QEおよびAPE研究における実用性が裏付けられた。