[論文レビュー] Has Machine Translation Achieved Human Parity? A Case for Document-level Evaluation

Samuel Läubli, Rico Sennrich+1 more|arXiv (Cornell University)|Aug 21, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、ニューラル機械翻訳における人間並みの性能という主張に挑戦し、文書全体を評価する際には人間翻訳者が機械翻訳よりも顕著に好まれるが、孤立した文の評価ではそうではないことを示している。研究では、文書レベルの文脈が、文のレベルでは見えない言語的整合性の欠如や不自然な接続語の使用といった、話法的レベルの誤りを露呈することを明らかにした。これは、MT研究における文書レベルの評価の重要性を示唆している。

ABSTRACT

Recent research suggests that neural machine translation achieves parity with professional human translation on the WMT Chinese--English news translation task. We empirically test this claim with alternative evaluation protocols, contrasting the evaluation of single sentences and entire documents. In a pairwise ranking experiment, human raters assessing adequacy and fluency show a stronger preference for human over machine translation when evaluating documents as compared to isolated sentences. Our findings emphasise the need to shift towards document-level evaluation as machine translation improves to the degree that errors which are hard or impossible to spot at the sentence-level become decisive in discriminating quality of different translation outputs.

研究の動機と目的

• 人間翻訳と機械翻訳を、文書全体と孤立した文の両方で評価する際、人間の評価者がそれらを区別できるかどうかを調査すること。
• 標準的な評価プロトコルが文書レベルの文脈を欠如させることで、人間翻訳と機械翻訳の品質差が隠蔽されているかどうかを評価すること。
• 専門翻訳者が、より広い文脈を提供された場合に、人間翻訳の優れた品質を検出できるかどうかを評価すること。
• 話法的現象（例：語彙的つながりや一貫性）が、人間が翻訳品質をどのように認識するかに重要な役割を果たすという仮説を検証すること。

提案手法

• 専門翻訳者を評価者として用い、文のレベルと文書のレベルの両方で、人間翻訳と機械翻訳を対比するペアワイズランク付け実験を実施した。
• 専門翻訳者を用いた制御された評価プロトコルを採用し、クラウドソーシングを避けることで、高い評価者熟練度と一貫性を確保した。
• 文書レベルの文脈を提供するために、評価者に6～10文からなる完全な記事を提示し、文のつながり、語彙的一致性、話法的構造の評価を可能にした。
• 適切性と流暢さの判断を別々に収集し、絶対尺度ではなくペアワイズでのランク付けを評価者に実施させた。
• 文のレベルでの判断が混合していたが、文書レベルでの判断では人間翻訳が強く支持された事例を分析し、機械出力に見られる具体的な話法的誤りを同定した。
• 評価の粒度ごとに結果を比較し、文脈の有無が人間が翻訳品質をどのように認識するかに与える影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 文書レベルの文脈は、人間の評価者が人間翻訳と機械翻訳の品質差を検出できる能力を向上させるか？
• RQ2 語彙的つながりや一貫性といった話法的現象は、文書レベルの評価において文のレベルの評価よりも顕著に現れるか？
• RQ3 神経機械翻訳は既知の流暢さの優位性を示しているにもかかわらず、なぜ流暢さの評価者が人間翻訳をより強く好むのか？
• RQ4 語彙の一貫性の欠如や誤った話法的接続語の使用といった誤りは、文のレベルでは検出されないが、文書レベルでは明らかになるか？
• RQ5 標準的な評価プロトコルが文書レベルの文脈を欠如させることで、機械翻訳における人間並みの誤った主張が生じる可能性はどの程度か？

主な発見

• 人間の評価者は、文書全体を評価する際、特に適切性の判断において、機械翻訳よりも人間翻訳を統計的に有意に好んだ。
• 同じ評価者においても、文書レベルの評価の方が文のレベルの評価よりも人間翻訳への好まれ方が強かった。
• 文書レベルの評価により、機械翻訳に見られる具体的な話法的誤りが明らかになった。例として、複数の文で固有名の翻訳が一貫しない（例：'WeChat Move the Car' 対 'Twitter Move Car' または 'WeChat mobile'）ことが同定された。
• 流暢さの評価者が人間翻訳をより強く好んだのに対し、適切性の評価者はそれほど強く好んでいなかったことから、MTにおける母語干渉や直訳的表現が流暢さの認識に影響を与えている可能性が示唆された。
• 文のレベルでの判断が混合していた事例においても、文書レベルの評価は一貫して人間翻訳を支持した。これは、文脈が孤立した状態では見えない誤りを露呈していることを示している。
• 本研究は、現在の文のレベルでの評価プロトコルが、テクストのつながりや一貫性に関連する品質差を検出できないことを確認した。これらの要因は、高品質な翻訳にとって極めて重要である。