[論文レビュー] End-to-End Lexically Constrained Machine Translation for Morphologically Rich Languages

de Souza Aires, João Paulo, Dušan Variš+2 more|arXiv (Cornell University)|Jan 1, 2021

Natural Language Processing Techniques参考文献 32被引用数 11

ひとこと要約

本論文は、チェコ語のような屈曲語彙的言語における正しい語形変化を実現するため、学習中に語幹化されたターゲット制約を用いるニューラル機械翻訳アプローチを提案する。元の文に加えて語幹化された語を条件付けとして与えることで、同調誤りを顕著に低減し、77.1%の制約表面形カバレッジを達成し、文脈に応じた語形変化の誤りを100%削減した。

ABSTRACT

Lexically constrained machine translation allows the user to manipulate the output sentence by enforcing the presence or absence of certain words and phrases. Although current approaches can enforce terms to appear in the translation, they often struggle to make the constraint word form agree with the rest of the generated output. Our manual analysis shows that 46% of the errors in the output of a baseline constrained model for English to Czech translation are related to agreement. We investigate mechanisms to allow neural machine translation to infer the correct word inflection given lemmatized constraints. In particular, we focus on methods based on training the model with constraints provided as part of the input sequence. Our experiments on the English-Czech language pair show that this approach improves the translation of constrained terms in both automatic and manual evaluation by reducing errors in agreement. Our approach thus eliminates inflection errors, without introducing new errors or decreasing the overall quality of the translation.

研究の動機と目的

• 屈曲語彙的言語における語幹制約付きニューラル機械翻訳における誤った語形変化の問題に対処すること。
• 語幹化された制約を用いて、文脈に応じた制約の一致を向上させること。
• 追加の推論コストを伴わず、制約翻訳における語形変化の誤りを完全に排除すること。
• 合成的および実世界の用語統合シナリオにおける語幹化制約の有効性を評価すること。

提案手法

• 学習中に、元の文に語幹化されたターゲット制約を連結することで、TransformerベースのNMTモデルを学習する。
• 語幹化された制約を入力系列の一部として統合し、モデルが文脈的に適切な語形変化を生成するように誘導する。
• 標準のNMT学習目的と標準の交差エントロピー損失を用い、モデルが語形変化のパターンをエンドツーエンドで学習できるようにする。
• 統合手法を比較：元の文に語幹化された制約を連結する方法と、入力要因を用いて元のトークンを注釈する方法。
• 欧州議会文書語彙（Europarl-Czech）テストセットを用いて、合成テストセットと実世界の用語統合タスクの両方で評価する。
• 追加のデコード機構を導入せず、モデルの内蔵された言語モデル能力を活用して、正しい表面形を推論する。

実験結果

リサーチクエスチョン

• RQ1 語幹化された制約を用いた学習は、屈曲語彙的言語における制約付きニューラル機械翻訳の語形変化の正確性を向上させることができるか？
• RQ2 表面形制約と比較して、語幹化された制約を用いることで、同調誤りが減少するか？
• RQ3 文法的流暢さと制約カバレッジの観点から、語幹化制約学習の性能は、ベースラインの制約付きデコード手法と比べてどうなるか？
• RQ4 モデルが正しい語形変化を生成する能力は、統合手法（連結 vs. 入力要因）にどの程度依存するか？
• RQ5 語幹化された制約は、新しい誤りを導入することなく、希少語やドメイン固有語の翻訳を改善できるか？

主な発見

• 語幹化制約モデルは、Europarlテストセットで77.1%の表面形カバレッジを達成し、ベースライン（69.9%）と表面形モデル（44%）を顕著に上回った。
• 自動評価で誤りとマークされた例のうち、語幹化モデルでは8%が実際に誤りであったのに対し、表面形モデルでは66%が誤りであった。これは、多くの誤りが基準出力依存の評価に起因するものであることを示している。
• 語幹化モデルでは語形変化の誤りが完全に0%に抑えられ、すべての誤りが同調誤りではなかった。一方、表面形モデルでは46%の誤りが同調誤りに起因していた。
• 手動分析の結果、誤った語の選択数は28から4に減少し、語彙的正確性が向上した。
• このアプローチは、新たな誤りを導入せず、推論コストを増さずに高い制約カバレッジと正しい語形変化を達成した。
• 翻訳辞書を用いた希少語翻訳でも効果を示し、低リソース用語シナリオにおいても堅牢性を示した。