[論文レビュー] Fine-grained Human Evaluation of Transformer and Recurrent Approaches to Neural Machine Translation for English-to-Chinese

Yuying Ye, Antonio Toral|arXiv (Cornell University)|Jun 15, 2020

Natural Language Processing Techniques参考文献 27被引用数 4

ひとこと要約

本研究では、MQMフレームワークに整合した独自の誤り分類法を用いて、英語から中国語への翻訳における最先端のTransformerおよび再帰的ニューラル機械翻訳（NMT）システムについて、詳細な人的評価を実施した。結果として、最良のTransformerシステムは、最良の再帰的システムと比較して総誤り数を31%削減し、特に流暢さ、誤訳、文法の分野で顕著に優れているが、表記や標点の処理では劣っていることが判明した。

ABSTRACT

This research presents a fine-grained human evaluation to compare the Transformer and recurrent approaches to neural machine translation (MT), on the translation direction English-to-Chinese. To this end, we develop an error taxonomy compliant with the Multidimensional Quality Metrics (MQM) framework that is customised to the relevant phenomena of this translation direction. We then conduct an error annotation using this customised error taxonomy on the output of state-of-the-art recurrent- and Transformer-based MT systems on a subset of WMT2019's news test set. The resulting annotation shows that, compared to the best recurrent system, the best Transformer system results in a 31% reduction of the total number of errors and it produced significantly less errors in 10 out of 22 error categories. We also note that two of the systems evaluated do not produce any error for a category that was relevant for this translation direction prior to the advent of NMT systems: Chinese classifiers.

研究の動機と目的

• 英語から中国語への翻訳におけるTransformerと再帰的NMTアーキテクチャの詳細な人的誤り分析を実施すること。
• 英語から中国語への翻訳に特有の言語現象を反映した、MQM準拠の誤り分類法を開発すること。
• 最先端の再帰的およびTransformerベースのNMTシステム間における誤りパターンの系統的差異を同定すること。
• 中国語の助数詞や対応のない句読点といった、歴史的に問題視されたMTの問題が、現代のNMTによって解決された程度を評価すること。
• 将来的な中国語NMT品質評価研究のための公開可能なアノテーションとコードを提供すること。

提案手法

• MQMフレームワークに基づき、中国語の助数詞、機能語、表記などの言語固有の問題を組み込んだ独自の誤り分類法を開発した。
• 分類法を用いて、WMT2019ニューステストセットで学習された3つのNMTシステム（1つの再帰的モデルと2つのTransformerベースのモデル）の出力における誤りを手動でアノテートした。
• 2名のアノテーターが独立して翻訳を評価し、アノテーター間一致度を測定した。不一致は議論により解決した。
• 誤りタイプは22の次元に分類され、誤訳、省略、追加、流暢さ、文法、表記などがあり、機能語や語順のサブタイプも含めた。
• 誤り率の差を統計的に有意性検定するためにペアドt検定を実施し、各誤りカテゴリのp値を報告した。
• 誤り率の比較を1,000トークンあたりの誤り率に基づけて定量的比較を可能にした。

実験結果

リサーチクエスチョン

• RQ1 英語から中国語への翻訳において、Transformerベースと再帰的NMTシステムの全体的な誤り率はどのように比較されるか？
• RQ2 どの特定の誤りカテゴリでTransformerアーキテクチャが再帰的アーキテクチャを顕著に上回っているか？
• RQ3 中国語の助数詞や対応のない句読点といった、歴史的に問題視された問題は、現代のNMTシステムでどの程度解決されたか？
• RQ4 Transformerアーキテクチャは、再帰モデルに見られない新しい欠陥や、継続的な弱みを示しているか、特に表記の正確性において？
• RQ5 Transformerモデルに見られる誤りパターンは、今後のアーキテクチャ的改善やファインチューニングの余地を示唆しているか？

主な発見

• 最良のTransformerシステム（PATECH）は、最良の再帰的システムと比較して、誤り率を31%削減し、誤り率は11.85%（再帰的システムは17.93%）であった。
• 22の誤りカテゴリのうち10カテゴリでTransformerシステムが顕著に誤りを減らしており、誤訳（4.50% vs. 7.49%）、流暢さ（3.56% vs. 6.45%）、文法（1.83% vs. 3.08%）がその例である。
• Transformerシステムは誤訳誤りで33%、流暢さ誤りで45%の削減を達成した。
• 全体的な改善にもかかわらず、Transformerシステムは表記関連の誤り、特に句読点（0.37% vs. 0.20%）と余分な記号（0.37% vs. 0.20%）で再帰的モデルより劣っていた。
• 「対応のないマーク」カテゴリではいずれのシステムも誤りを発生させず、唯一のシステム（KSAI）が「助数詞」カテゴリで0.16%の誤りを示したため、これらの問題は現代のNMTでほとんど解決されていると考えられる。
• 2つのTransformerシステム間で誤り分布に統計的に有意な差は認められず、最先端のTransformerモデル間での一貫性が高かった。