[論文レビュー] Incorporating Terminology Constraints in Automatic Post-Editing

David Wan, Chris Kedzie+3 more|arXiv (Cornell University)|Oct 19, 2020

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本稿では、機械翻訳出力におけるドメイン固有の用語を保持するため、自己回帰的および非自己回帰的Transformerモデルを用いた用語制約付き自動後処理（APE）を導入する。実験により、制約付きAPEが翻訳品質を向上させつつ95％の用語保持を達成することを示し、希少または意味的に乖離した制約に対する耐性を高めるためにデータ拡張を提案する。

ABSTRACT

Users of machine translation (MT) may want to ensure the use of specific lexical terminologies. While there exist techniques for incorporating terminology constraints during inference for MT, current APE approaches cannot ensure that they will appear in the final translation. In this paper, we present both autoregressive and non-autoregressive models for lexically constrained APE, demonstrating that our approach enables preservation of 95% of the terminologies and also improves translation quality on English-German benchmarks. Even when applied to lexically constrained MT output, our approach is able to improve preservation of the terminologies. However, we show that our models do not learn to copy constraints systematically and suggest a simple data augmentation technique that leads to improved performance and robustness.

研究の動機と目的

• 自動後処理（APE）システムがドメイン固有の用語制約を保持できないというギャップを埋める。
• 翻訳出力に事前に制約が施されている場合でも、ユーザー指定の語彙的用語を体系的に保持できるAPEモデルを実現する。
• 同義語や対義語を含む希少または意味的に乖離した制約の処理におけるモデルの耐性を向上させる。
• 自己回帰的（Transformer）および非自己回帰的（Levenshtein Transformer）アーキテクチャの両方が制約付きAPEにどの程度有効であるかを調査する。
• APEモデルにおける体系的な制約コピーの向上を目的としたデータ拡張戦略の開発と評価

提案手法

• エンコーダー入力に制約トークンおよび要因（例：ソース、制約、ターゲット）を追加することで、用語制約を明示的に表現する。
• 指定された用語ペairを含む修正出力を生成できるように、自己回帰的Transformer（MST）および非自己回帰的Levenshtein Transformer（LevT）モデルを学習する。
• デコーダーを、ターゲット側の用語制約を含む部分出力で初期化する制約付きデコード戦略を採用する。
• Wikショナリーを用いてターゲット側の制約を同義語や対義語に置き換えることで、事前学習および微調整段階で多様な制約タイプにさらされるようにデータ拡張を実施する。
• 標準的なAPE指標（BLEU、TER、用語保持率（Term%））を用いてモデル性能を評価する。
• 同義語／対義語などの意味的に乖離した語に置き換えた際のTERおよびBLEUの変化を測定し、モデルの安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 制約付きAPEモデルは、翻訳品質を向上させつつ、供給された用語制約の95％を保持できるか？
• RQ2 事前に用語制約が施されたMT出力に適用する場合、制約付きAPEと非制約付きAPEの用語保持性能に差は生じるか？
• RQ3 APEモデルは、同義語や対義語を含む任意の用語制約を体系的にコピーするよう学習するか？
• RQ4 同義語および対義語を含む制約を用いたデータ拡張は、モデルの耐性および用語保持率をどの程度向上させるか？
• RQ5 意味的に乖離したターゲット側制約（例：同義語 vs. 対義語）に直面した際、制約付きAPEモデルの安定性はいかがなものか？

主な発見

• 制約付きAPEモデルは、自己回帰的および非自己回帰的モデルの両方で、用語制約の95％以上を保持しており、特にLevTモデルが最高のカバレッジを達成している。
• 制約付きMT出力に非制約付きAPEを適用すると、用語保持率が12.6％相対的に低下する。これは、制約に配慮したAPEの必要性を示している。
• 同義語や対義語のような異常な制約については、モデルが体系的にコピーできず、MSTモデルは対義語「Verkleinerung」を完全に欠落させている。
• 同義語および対義語を含むデータ拡張により、翻訳品質（TER低減、BLEU向上）および用語保持率が向上し、特に微調整段階での適用が顕著に効果的である。
• 同義語は対義語よりも保持が難しいと推察され、これは言語モデルの事前学習バイアスが、意味的に類似する代替語よりも元の語を好む傾向にあるためと考えられる。
• Levenshtein Transformerモデルは、制約の変化に対してより高いTERスコアを示しており、自己回帰モデルに比べて安定性が低いことが判明。これは、速度と一貫性のトレードオフを示唆している。