[論文レビュー] Fine-grained linguistic evaluation for state-of-the-art Machine Translation

Eleftherios Avramidis, Vivien Macketanz+3 more|arXiv (Cornell University)|Oct 13, 2020

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、14のカテゴリにまたがる107の言語現象をカバーする、手作業で整備された5,514件のテスト項目を用いて、11の最先端ドイツ語→英語機械翻訳システムの細分化された言語的評価を提示する。TohokuおよびHuoshanシステムが最も高い正確性を示したが、マクロ平均性能においては、WMT19の最良モデルを顕著に上回るシステムは存在しなかった。全システムに共通して、慣用句、結果論的述語、過去完了形の処理に弱みが見られた。

ABSTRACT

This paper describes a test suite submission providing detailed statistics of linguistic performance for the state-of-the-art German-English systems of the Fifth Conference of Machine Translation (WMT20). The analysis covers 107 phenomena organized in 14 categories based on about 5,500 test items, including a manual annotation effort of 45 person hours. Two systems (Tohoku and Huoshan) appear to have significantly better test suite accuracy than the others, although the best system of WMT20 is not significantly better than the one from WMT19 in a macro-average. Additionally, we identify some linguistic phenomena where all systems suffer (such as idioms, resultative predicates and pluperfect), but we are also able to identify particular weaknesses for individual systems (such as quotation marks, lexical ambiguity and sluicing). Most of the systems of WMT19 which submitted new versions this year show improvements.

研究の動機と目的

• 一般的なメトリクスを越えて、最先端のドイツ語→英語機械翻訳システムに対する詳細かつ言語的根拠に基づいた評価を提供すること。
• 現在のMTシステムが特に希少または複雑な構造において性能を発揮しない特定の言語現象を同定すること。
• WMT20の最新システムが前年版の最良モデルに対して顕著な改善を示しているかどうかを評価すること。
• 体系的かつ人間がアノテートしたテストセットを通じて誤りパターンを特定することで、特定のシステム改善およびデータ整備を支援すること。

提案手法

• 本研究では、14のカテゴリにまたがる107の言語現象を対象にした、手作業で構築された5,514件のテスト項目を有するDFKIテストセットを採用する。
• 各テスト項目には、元の文と複数の参照翻訳（正解および誤りのバリエーションを含む）が含まれており、システム出力を特定の言語的基準に基づき評価できるようにする。
• システム出力は、ルールベースのチェック（正規表現および固定文字列）を用いて自動的に評価され、曖昧なケースは専門家による言語学者による判断で解決される。
• ハイブリッド評価パイプラインにより、自動スコアリングと境界ケースにおける人間によるアノテーション判断を組み合わせることで、高い正確性を確保する。
• 性能は、各言語現象ごとの正しく翻訳されたテスト項目の割合として測定され、全現象にわたるマクロ平均およびマイクロ平均が計算される。
• 評価は、WMT20共同タスクに参加した11のシステムに適用され、比較のためWMT19に参加したシステムも含む。

実験結果

リサーチクエスチョン

• RQ1 どのドイツ語→英語MTシステムが細分化された言語現象において最も高い正確性を示し、前年度のシステムと比べてどのように差がつくか？
• RQ2 全システムが一貫して性能を発揮しない特定の言語現象は存在するか？
• RQ3 最新のWMT20システムは、WMT19の対応するシステムと比較して顕著な改善を示しているか？
• RQ4 最先端MTシステムにおける最も一般的な誤りパターンは何か、そしてそれらは言語的カテゴリごとにどのように異なるか？

主な発見

• TohokuおよびHuoshanシステムが、全テストセットにおいて最も高い全体的な正確性を達成し、他の9つのシステムを顕著に上回った。
• 全現象のマクロ平均において、WMT20のどのシステムも、WMT19の最良モデルを統計的に有意に上回る改善を示さなかった。
• 全システムが慣用句、結果論的述語、過去完了形の処理に苦戦しており、複雑な構文的・意味的現象を処理する上で持続的な課題が存在することが示された。
• 個々のシステムには特有の弱みが見られた：一部のシステムでは引用符の処理に問題があり、他のシステムでは語義の曖昧さが繰り返し問題となり、スルーシング構文は頻繁に誤って翻訳されていた。
• WMT19から更新版を提出した大多数のシステムが、顕著な改善を示しており、特に助動詞や他動詞構文において顕著であった。
• 全107の現象におけるマイクロ平均正確度は85.3%であった一方、現象マクロ平均は89.1%に達しており、一般的な現象では高いパフォーマンスを示したが、希少または複雑な現象では顕著な低下が見られた。