[論文レビュー] A Challenge Set for French -> English Machine Translation.

Pierre Isabelle, Roland Kühn|arXiv (Cornell University)|Jun 7, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、語彙的・構文的乖離、並びに形態的・構文的、純粋な構文的、純粋な語彙的乖離といった言語的乖離構造を処理する能力をテストする目的で、フランス語→英語機械翻訳のための506文のチャレンジセットを紹介している。2017年10月と2018年1月にGoogle翻訳とDeepLで評価された結果、形態的・構文的乖離を除き、すべてのカテゴリでDeepLがGoogle翻訳を上回り、全体の成績率が13%高く、語彙的および語彙的・構文的カテゴリで顕著な進歩を示した。

ABSTRACT

We present a challenge set for French --> English machine translation based on the approach introduced in Isabelle, Cherry and Foster (EMNLP 2017). Such challenge sets are made up of sentences that are expected to be relatively difficult for machines to translate correctly because their most straightforward translations tend to be linguistically divergent. We present here a set of 506 manually constructed French sentences, 307 of which are targeted to the same kinds of structural divergences as in the paper mentioned above. The remaining 199 sentences are designed to test the ability of the systems to correctly translate difficult grammatical words such as prepositions. We report on the results of using this challenge set for testing two different systems, namely Google Translate and DEEPL, each on two different dates (October 2017 and January 2018). All the resulting data are made publicly available.

研究の動機と目的

• 標準的なメトリクスを超えた持続的な翻訳の困難さを特定するため、フランス語→英語機械翻訳向けに言語ペア特化のチャレンジセットを開発すること。
• 最先端のニューラルMTシステム（Google翻訳とDeepL）が、特定の言語的乖離問題に対してどのように機能するかを評価すること。
• 微細な文法的・構文的乖離を処理する上で残存する課題を特定し、システムの進化を追跡するための公開ベンチマークを提供すること。

提案手法

• 形態的・構文的、語彙的・構文的、純粋な構文的、および純粋な語彙的乖離のタイプを対象とした、手作業で構築された506のフランス語文。
• 各文には、単一の参照翻訳と、特定の言語的問題に焦点を当てるための「はい／いいえ」質問が含まれる。
• 評価プロトコルでは、人間の判断に基づき「はい／いいえ」質問の正誤を決定し、2名の著者が合意が得られない場合に仲裁を行う。
• システムのテストは2回の日付（2017年10月と2018年1月）で実施され、性能の変化を追跡した。
• このチャレンジセットには、前置詞や代名詞といった難しい文法的語彙を対象とした199の例が含まれており、文脈に応じた翻訳が求められる。
• データと判断結果は再現可能性および比較のため、公開されている。

実験結果

リサーチクエスチョン

• RQ1 Google翻訳やDeepLといった主要なニューラルMTシステムは、言語的に挑戦的なフランス語→英語翻訳例のキュレートされたセットで、どのように機能するか？
• RQ2 プロクリティック代名詞、動詞の時制マーク、格変化といった形態的・構文的乖離に対して、システムはどの程度処理できるか？
• RQ3 語彙的および構文的乖離、特に前置詞や反映性構文に関連するものに対して、システムの性能はいかがなっているか？
• RQ4 2017年10月から2018年1月にかけて、これらのシステムの性能はこのチャレンジセット上でどのように変化したか？

主な発見

• DeepLはチャレンジセット全体でGoogle翻訳よりも13%高い全体の成績率を達成し、特に純粋な語彙的および語彙的・構文的カテゴリで最大の性能差を示した。
• Google翻訳は2017年10月から2018年1月にかけて全体の成績率が2.6%向上したが、DeepLは1%向上にとどまり、遅いが安定した進歩を示した。
• 形態的・構文的乖離では、両システムの性能はほぼ同等であり、Googleは7%向上、DeepLは4.6%低下した。
• 純粋な構文的乖離では、Google翻訳は3.5%低下したが、DeepLの性能は安定を保った。これは、Googleの構文処理能力に後退が見られた可能性を示唆している。
• チャレンジセットは、システムが前置詞や文法的語彙の翻訳において依然として大きな困難を抱えていることを明らかにした。特に、翻訳選択が文脈に依存する場合に顕著である。
• 公開されたデータセットと評価判断により、人間の判断とシステムの判断の独立した検証および比較が可能になった。