[論文レビュー] Automatic Evaluation and Analysis of Idioms in Neural Machine Translation

Christos Baziotis, Prashant Mathur+1 more|arXiv (Cornell University)|Oct 10, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、手作業で作成されたブロックリストを必要とせずに、ニューラル機械翻訳（NMT）における直訳エラーを検出するための新しい自動メトリクス、LitTERを紹介する。モノリンガル事前学習を用いて、ゼロショット設定でさえも熟語翻訳において顕著な改善を示し、事前学習が文脈理解を向上させ、直訳エラーを低減することを示している。

ABSTRACT

A major open problem in neural machine translation (NMT) is the translation of idiomatic expressions, such as "under the weather". The meaning of these expressions is not composed by the meaning of their constituent words, and NMT models tend to translate them literally (i.e., word-by-word), which leads to confusing and nonsensical translations. Research on idioms in NMT is limited and obstructed by the absence of automatic methods for quantifying these errors. In this work, first, we propose a novel metric for automatically measuring the frequency of literal translation errors without human involvement. Equipped with this metric, we present controlled translation experiments with models trained in different conditions (with/without the test-set idioms) and across a wide range of (global and targeted) metrics and test sets. We explore the role of monolingual pretraining and find that it yields substantial targeted improvements, even without observing any translation examples of the test-set idioms. In our analysis, we probe the role of idiom context. We find that the randomly initialized models are more local or "myopic" as they are relatively unaffected by variations of the idiom context, unlike the pretrained ones.

研究の動機と目的

• NMTにおける直訳エラー、特に熟語に関して、自動的で特化した評価手法の不足に対処すること。
• 従来の直訳エラー検出手法が人手で作成したブロックリストに依存しているのを克服すること。
• モノリンガル事前学習がゼロショットおよびフェイシュット設定における熟語翻訳性能に与える影響を調査すること。
• 文脈の変化が熟語翻訳におけるモデルの挙動に与える影響を、事前学習済みモデルとランダム初期化モデルとで比較して分析すること。
• LitTERとアライメントベースのメトリクスを統合した包括的な熟語翻訳品質評価フレームワークを構築すること。

提案手法

• 翻訳用の参考訳文を用いてフィルタリングすることで、二語彙辞書から自動的に単語レベルのブロックリストを生成し、直訳エラーを特定するメトリクスであるLitTERを提案する。
• MUSEを用いて二語彙の単語を対象言語に翻訳し、初期の候補ブロックリストを構築する。
• 正しく翻訳された場合に直訳となる可能性がある語を避けるために、参考訳文に出現する語をブロックリストから除外する。
• 残存するブロックリスト語が翻訳出力に含まれるかをチェックすることで、LitTERを仮説の評価に適用する。
• 異なるデータ分割（テストセットの熟語を含む／含まない）で学習したモデルと、mBARTを用いたモノリンガル事前学習を用いた制御されたNMT実験を実施する。
• 熟語の周囲りの文脈を変化させることで、モデルの翻訳意思決定における感受性と不確実性を評価するプロービング実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成したブロックリストに依存せずに、NMTにおける直訳エラーを自動的に検出することは可能か？
• RQ2 テストセットの熟語の並列例が学習中に一切見られない状況下でも、モノリンガル事前学習が熟語翻訳性能をどの程度向上させるか？
• RQ3 熟語の周囲りの文脈がモデルの翻訳行動に与える影響は何か？また、事前学習によりモデルは文脈の変化により敏感になるか？
• RQ4 事前学習済みモデルとランダム初期化モデルとを比較した場合、熟語翻訳における文脈認識力と不確実性の観点で、どちらが優れているか？
• RQ5 LitTERはアライメントベースのメトリクスと効果的に統合可能であり、熟語翻訳品質の包括的評価を可能にするか？

主な発見

• LitTERは言語固有の手作業ブロックリストを必要とせず、スケーラブルで自動的な評価を可能にした。
• mBARTによるモノリンガル事前学習は、テスト熟語の並列例が学習中に一切存在しないゼロショット設定でさえも、熟語翻訳において顕著な的確な改善をもたらした。
• 事前学習済みモデルは熟語の周囲りの文脈変化に対してより感受性を示し、ランダム初期化モデルと比較して文脈理解が向上していることが示された。
• ランダム初期化モデルは「狭い視野」を持つ傾向がある—文脈の変化にあまり影響を受けないため、文脈認識力が弱いと示された。
• 事前学習済みモデルでは直訳エラーの頻度が顕著に低下しており、事前学習が非構成的フレーズの理解を強化していることを示している。
• LitTERは熟語固有のエラーを効果的に特定でき、BLEUなどのグローバルメトリクスと組み合わせることで、熟語翻訳におけるNMT性能のより洗練された評価が可能になる。