[論文レビュー] Pronoun Translation in English-French Machine Translation: An Analysis of Error Types

Christian Hardmeier, Liane Guillou|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 17被引用数 6

ひとこと要約

本研究では、PROTESTテストスイートを用いて、ルールベース、統計的、ニューラルMTシステムにおける英語-フランス語間の代名詞翻訳を評価した。最近のTransformerベースのNMTモデルは、文内参照の代名詞および非参照的代名詞に関しては性能が向上しているが、すべてのシステムが文間依存関係、性・数一致、機能的区別に関して困難を抱えていることが明らかになった。これは、代名詞の機能および参照的性質をモデル化する上で継続的な課題が存在することを示している。

ABSTRACT

Pronouns are a long-standing challenge in machine translation. We present a study of the performance of a range of rule-based, statistical and neural MT systems on pronoun translation based on an extensive manual evaluation using the PROTEST test suite, which enables a fine-grained analysis of different pronoun types and sheds light on the difficulties of the task. We find that the rule-based approaches in our corpus perform poorly as a result of oversimplification, whereas SMT and early NMT systems exhibit significant shortcomings due to a lack of awareness of the functional and referential properties of pronouns. A recent Transformer-based NMT system with cross-sentence context shows very promising results on non-anaphoric pronouns and intra-sentential anaphora, but there is still considerable room for improvement in examples with cross-sentence dependencies.

研究の動機と目的

• 異なるMTアーキテクチャにおける代名詞翻訳の継続的課題を調査すること。
• 細分化された代名詞タイプのテストスイートを用いて、ルールベース、SMT、NMTシステムの性能を評価すること。
• 代名詞の機能、性、数、参照的性質に関連する系統的な誤りパターンを特定すること。
• 手動評価の結果を比較し、代名詞翻訳評価の信頼性を評価すること。
• 代名詞翻訳における機能的および参照的認識の向上を図ることで、MTシステムの改善を提言すること。

提案手法

• 代名詞の機能（参照的、出来事参照、冗長的、呼びかけ参照）および言語的特徴に基づいて分類するPROTESTテストスイートを用いて、9つの英語-フランス語MTシステムの手動評価を実施した。
• ルールベース、フレーズベースSMT、TransformerベースNMTシステムを含み、文脈モデリングやルールベースの後処理を施したシステムも含まれる。
• システム出力と人間がアノテートしたゴールドスタンダードを比較し、誤りの種別と頻度分布を特定した。
• 人間の判断の妥当性を評価するためのメタ評価として、アノテーター間の一貫性を分析した。
• 誤りの原因の分析（省略、誤った性・数一致、人称代名詞と指示代名詞の混同）を実施した。
• TEDトークのトランスクリプトとその翻訳から得られたバランスの取れた、手動でアノテートされたテストセットを用い、明示的な先行語リンクと機能的特徴を含めた。

実験結果

リサーチクエスチョン

• RQ1 ルールベース、SMT、NMTシステムは、英語-フランス語MTにおけるさまざまな代名詞タイプに関して、どのように性能が異なるか？
• RQ2 代名詞翻訳における主要な誤りタイプは何か。また、代名詞の機能や文法的位置によってどのように変化するか？
• RQ3 最近のTransformerベースのNMTシステムは、過去のSMTおよびルールベースアプローチに比べて、代名詞翻訳においてどの程度改善を遂げているか？
• RQ4 文脈モデリング機構は、代名詞翻訳における文間参照を処理するためにどの程度効果的か？
• RQ5 なぜ代名詞翻訳の手動評価では顕著な合意の欠如が生じるのか。これは評価手法にどのような含意をもたらすか？

主な発見

• ルールベースシステムは過剰に単純化されているため、特に 'ça' や 'cela' のような指示代名詞を正しく生成できない。
• SMTおよび初期のNMTシステムは、代名詞の機能および参照的性質のモデル化が不十分であるため、顕著な欠陥を示している。
• TransformerベースのNMTシステムは、非参照的代名詞および文内参照の代名詞に関しては優れた結果を達成しているが、文間依存関係に関しては依然として性能が低い。
• 非主語代名詞の主な誤りタイプは、ターゲット言語での省略であり、おそらくフランス語における定冠詞との同音異義および信頼性の低い語の対応付けに起因する。
• 人称代名詞と指示代名詞の混同は主要な誤り原因であり、特にターゲット言語の代名詞形態を網羅的にカバーしていないルールベースシステムで顕著である。
• 文脈モデリングを施しても、Yandex NMTシステムは以前のシステムを一貫して上回っていない。これは、文脈そのものが複雑な参照を解消するには不十分であることを示している。