[論文レビュー] Attaining the Unattainable? Reassessing Claims of Human Parity in Neural Machine Translation

Antonio Toral, Sheila Castilho+2 more|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 14被引用数 5

ひとこと要約

この論文は、中国語→英語ニュース翻訳における神経機械翻訳（NMT）の「人間並み」の主張に疑問を呈し、より厳密な人間評価条件のもとでマイクロソフトのデータセットを再評価する。元の中国語原文（英語からの翻訳ではないもの）を用い、専門翻訳者が文脈を踏まえて翻訳を評価した結果、人間翻訳と機械翻訳との間に顕著な差が残ることが判明し、人間並みの達成はまだされていないことが示された。

ABSTRACT

We reassess a recent study (Hassan et al., 2018) that claimed that machine translation (MT) has reached human parity for the translation of news from Chinese into English, using pairwise ranking and considering three variables that were not taken into account in that previous study: the language in which the source side of the test set was originally written, the translation proficiency of the evaluators, and the provision of inter-sentential context. If we consider only original source text (i.e. not translated from another language, or translationese), then we find evidence showing that human parity has not been achieved. We compare the judgments of professional translators against those of non-experts and discover that those of the experts result in higher inter-annotator agreement and better discrimination between human and machine translations. In addition, we analyse the human translations of the test set and identify important translation issues. Finally, based on these findings, we provide a set of recommendations for future human evaluations of MT.

研究の動機と目的

• より厳密な人間評価基準を用いて、中国語→英語翻訳におけるNMTの「人間並み」主張を批判的に再評価すること。
• 翻訳的中国語（英語で書かれた元の中国語テキスト）の含むことが、人間評価結果に機械翻訳のスコアを不自然に高める要因となるかどうかを調査すること。
• 評価者の専門性が、人間翻訳と機械翻訳の間の一致度（IAA）および識別力に与える影響を評価すること。
• WMTおよびマイクロソフトのテストセットにおける人間参照翻訳の質に、欠陥や機械翻訳出力の修正（ポストエディティング）の影響があるかどうかを検討すること。
• 将来的な人間評価における信頼性と識別力の向上を目的とした、実務的かつ実行可能な提言を提供すること。

提案手法

• 元の中国語原文（英語からの翻訳ではないもの）を隔離する評価プロトコルを採用し、WMT 2017テストセット上でマイクロソフトのNMTシステムを再評価した。
• 専門翻訳者と非専門評価者を対象に、人間翻訳と機械翻訳のペアワイズ順位付け比較を実施した。
• 異なる評価者グループにおける相互評価一致度（IAA）と翻訳品質スコアの分析を通じて、一貫性と感受性を評価した。
• 文の独立性ではなく、文間の依存関係を考慮した文書全体の文脈を提供して翻訳を評価した。
• WMTおよびマイクロソフトの翻訳において、言語的問題が確認され、機械翻訳出力のポストエディティングや非専門家による翻訳の可能性が示唆された。
• ハッサンら（2018）のオープンデータモデルに従い、匿名化された人間評価データと統計的分析を公開し、再現可能性と透明性を確保した。

実験結果

リサーチクエスチョン

• RQ1 英語で書かれた元の中国語テキスト（翻訳的中国語）がテストセットに含まれることで、人間評価における機械翻訳スコアが不自然に高くなることはないか？
• RQ2 専門翻訳者が非専門評価者と比較して、より高い相互評価一致度と人間翻訳と機械翻訳の間の差を明確に識別できるか？
• RQ3 元の中国語原文を用い、評価者が文脈を完全に把握した状態で評価した場合、人間翻訳と機械翻訳の翻訳品質に統計的に有意な差があるか？
• RQ4 WMTおよびマイクロソフトのテストセットにおける人間参照翻訳が、非専門家の質の低さや機械翻訳出力のポストエディティングの影響を受けていないか、その程度はどの程度か？
• RQ5 NMTシステムの進化に伴い、人間評価が信頼性と識別力の両立を保つために、どのような方法論的改善が必要か？

主な発見

• 英語からの翻訳でない元の中国語原文のみを対象に評価した場合、翻訳品質における人間並みの達成は強く否定される証拠がある。
• 専門翻訳者が非専門評価者と比較して、顕著に高い相互評価一致度と、人間翻訳と機械翻訳の間の品質差を明確に識別した。
• 翻訳的中国語（英語で書かれた元の中国語）がテストセットに含まれていたことで、MTスコアが上昇しており、機械翻訳に有利な交絡要因が存在することが示唆された。
• WMTおよびマイクロソフトの両方のテストセットにおける人間参照翻訳に翻訳上の問題が確認され、非専門翻訳者による翻訳や機械翻訳出力のポストエディティングの可能性が示唆された。
• 本研究は、人間評価がMT評価において依然として有効かつ不可欠なツールであることを確認したが、その前提として専門翻訳者、元の原文、文脈を含めた文書レベルの情報提供が不可欠であることを示した。
• 著者らは、将来的な評価をより強固で公正にするために、元の原文の使用、専門翻訳者の採用、文書レベルの文脈の提供を含む一連の提言を提供した。