[論文レビュー] Evaluating Machine Translation Performance on Chinese Idioms with a Blacklist Method

Yutong Shao, Rico Sennrich+2 more|arXiv (Cornell University)|Nov 21, 2017

Natural Language Processing Techniques参考文献 12被引用数 5

ひとこと要約

本稿では、中国の習語の機械翻訳システムを自動評価するためのブラックリストベースの手法を提案する。この手法は、神経機械翻訳（NMT）で一般的に見られる直訳エラーを特定するために、非習語的翻訳を示す兆候となるキーワードのリストを用いる。この方法は、このようなエラーを高精度で同定でき、テストセットにおける46.1％の習語が誤って翻訳されていることが判明し、習語翻訳がNMTにおいて依然として大きな課題であることを確認した。

ABSTRACT

Idiom translation is a challenging problem in machine translation because the meaning of idioms is non-compositional, and a literal (word-by-word) translation is likely to be wrong. In this paper, we focus on evaluating the quality of idiom translation of MT systems. We introduce a new evaluation method based on an idiom-specific blacklist of literal translations, based on the insight that the occurrence of any blacklisted words in the translation output indicates a likely translation error. We introduce a dataset, CIBB (Chinese Idioms Blacklists Bank), and perform an evaluation of a state-of-the-art Chinese-English neural MT system. Our evaluation confirms that a sizable number of idioms in our test set are mistranslated (46.1%), that literal translation error is a common error type, and that our blacklist method is effective at identifying literal translation errors.

研究の動機と目的

• 機械翻訳における中国の習語のための的を絞った自動評価手法の不足に対処すること。
• 神経機械翻訳システムで一般的に見られる、習語を直訳する「直訳エラー」を特定・定量すること。
• 人間の評価やBLEUのようなグローバルメトリクスと補完する低コストでスケーラブルな評価手法を開発すること。
• 再現可能な習語翻訳評価を可能にするために、CIBBデータセットを公開すること。
• 神経機械翻訳の進展にもかかわらず、直訳エラーが依然として広範に見られるという事実を示すこと。

提案手法

• 中国の習語の直訳に由来する語（例：『三』『四』は『説三道四』に対応）を含むブラックリストを構築し、直訳エラーの兆候を示す。
• 翻訳出力に対してブラックリストを適用し、翻訳文にブラックリスト語が含まれるかをスキャンする。
• 50の非構成的中国語習語をカバーする1,194組の中国語-英語翻訳ペアを含むCIBBデータセットを用いて、手法を評価する。
• ブラックリストが直訳エラーを正しく検出できた場合に「正しく検出された」と定義し、人間がアノテートした基準翻訳と照らし合わせて精度と再現率を評価する。
• 最先端の神経機械翻訳システムを対象としたケーススタディを実施し、ブラックリスト手法による性能評価を実施する。
• アライメントと文脈分析を用いて誤検出（誤検出）を低減する。例えば、ブラックリスト語が非習語的文脈に現れた場合の対処。

実験結果

リサーチクエスチョン

• RQ1 現在の神経機械翻訳システムは、中国語の習語をどの程度直訳しているか？
• RQ2 ブラックリストベースの手法は、中国語-英語の機械翻訳出力における直訳エラーを効果的に検出できるか？
• RQ3 習語翻訳における人間評価やグローバルメトリクスと比較して、ブラックリスト手法の精度と再現率はどの程度か？
• RQ4 テストセットにおける習語翻訳のどの程度が直訳エラーに影響を受けていたか？
• RQ5 ブラックリスト手法は他の言語対に拡張可能か、あるいは他のエラー検出技術と統合可能か？

主な発見

• テストセットにおける習語翻訳の46.1％が誤って翻訳されており、中国語-英語の神経機械翻訳においても習語翻訳が依然として大きな課題であることが示された。
• 直訳エラーは広範に見られ、ブラックリスト手法は高い精度でこのようなエラーを効果的に検出できた。
• ブラックリスト手法は、『三』『四』がブラックリスト語として登録されており、『説三道四』が『The doctor said that you can’t say three things to me』と直訳された例など、直訳エラーを正しく検出できた。
• ブラックリスト語が非習語的文脈に現れた場合に誤検出が生じた。例えば、『風』が直訳的文脈に現れた場合など、文脈フィルタリングの必要性が浮き彫りになった。
• 非直訳エラー（例：『生龍活虎』が『have to』に誤って翻訳された）はブラックリスト手法では検出できず、この手法が直訳エラーに限定して有効であることが確認された。
• 50の習語をカバーする1,194組の翻訳ペアを含むCIBBデータセットを公開し、再現可能な評価と今後の研究を支援する。