[論文レビュー] Fill in the Blanks: Imputing Missing Sentences for Larger-Context Neural Machine Translation

Sébastien Jean, Ankur Bapna+1 more|arXiv (Cornell University)|Oct 30, 2019

Natural Language Processing Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、ランダムな文脈、部分的コピーヒューリスティクス、言語モデルによる文脈生成といった手法を用いて、文書レベルのニューラル機械翻訳における欠落した文脈を補完する手法を提案する。コピーヒューリスティクスは語彙的整合性および長距離現象の処理を著しく向上させるが、ランダムな文脈はBLEUスコアと類似するにもかかわらず性能を損なう。逆翻訳はBLEUスコアとチャレンジセットの両方の性能を向上させる。

ABSTRACT

Most neural machine translation systems still translate sentences in isolation. To make further progress, a promising line of research additionally considers the surrounding context in order to provide the model potentially missing source-side information, as well as to maintain a coherent output. One difficulty in training such larger-context (i.e. document-level) machine translation systems is that context may be missing from many parallel examples. To circumvent this issue, two-stage approaches, in which sentence-level translations are post-edited in context, have recently been proposed. In this paper, we instead consider the viability of filling in the missing context. In particular, we consider three distinct approaches to generate the missing context: using random contexts, applying a copy heuristic or generating it with a language model. In particular, the copy heuristic significantly helps with lexical coherence, while using completely random contexts hurts performance on many long-distance linguistic phenomena. We also validate the usefulness of tagged back-translation. In addition to improving BLEU scores as expected, using back-translated data helps larger-context machine translation systems to better capture long-range phenomena.

研究の動機と目的

• 並列データに部分的な文脈しか利用できない場合に、文書レベルのニューラル機械翻訳を訓練するという課題に対処すること。
• BLEUスコアを超えたモデル性能への、さまざまな文脈補完手法の影響を評価すること。
• 文書レベル翻訳における長距離言語現象の捉え込みを改善するためのタグ付き逆翻訳の有効性を検証すること。
• BLEUスコアが類似しているにもかかわらず、特定の言語現象に対するモデルの挙動にデータ補完手法が顕著に影響することを実証すること。

提案手法

• ベースラインとして、ランダムな文のペアを用いて欠落したソース側文脈を補完する。
• 複数の同じソース-ターゲットペアをランダムな文と組み合わせることで語彙的整合性を向上させる部分的コピーヒューリスティクスを適用する。
• 言語モデルを用いてターゲット側の文脈を生成し、それを逆翻訳することでソース側の文脈を取得する。
• 学習データから類似した文のペアを検索し、欠落した例の文脈として用いる。
• オリジナルデータおよび補完済みデータを用いて文脈に配慮したモデルを訓練し、学習セットを拡張するために逆翻訳を用いる。
• 代名詞の指し示し、語彙的統合、省略などの長距離現象に特化したチャレンジセットを用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 文脈補完が標準的なBLEUスコアを超えた文書レベル機械翻訳の性能に与える影響は何か？
• RQ2 ランダム、コピーヒューリスティクス、言語モデル生成のうち、どの文脈補完手法が長距離言語現象の性能で最も優れているか？
• RQ3 タグ付き逆翻訳は文書レベル翻訳における文間依存関係のモデル化をどの程度向上させるか？
• RQ4 ランダムな文脈が使用された場合、チャレンジセットでは顕著な悪影響が見られるにもかかわらずBLEUスコアにほとんど影響しないのはなぜか？
• RQ5 複雑な文脈生成手法よりも、単純なコピーヒューリスティクスが語彙的統合を捉える上で優れている可能性はあるか？

主な発見

• 部分的コピーヒューリスティクスは語彙的統合の正確性が90.1%に達し、ランダム文脈およびベースラインモデルを著しく上回った。
• ランダム文脈を用いることで、チャレンジセット全体で平均3.65%の性能低下が生じたが、BLEUスコアへの影響は最小限であった。
• 逆翻訳を用いることで、4つのチャレンジセットすべてで性能が向上し、文脈拡張と組み合わせた際の正確性はすべてのテストセットで86.1%以上に達した。
• コピーヒューリスティクスを用いて訓練された文脈に配慮したモデルは、ランダムまたは生成された文脈を用いたモデルよりも語彙的統合の面で高速に学習し、より優れた一般化性能を示した。
• DocRepairモデル（後処理アプローチ）は代名詞の指し示しチャレンジセットで91.8%を達成し、すべてのワンパスモデルを上回ったが、語彙的統合およびVP省略の面ではワンパスモデルが依然として優れていた。
• より大きなモデルと逆翻訳を用いても、ランダム文脈を用いて訓練されたモデルはチャレンジセットで依然として性能が低く、データ品質が長距離現象の処理において極めて重要であることが示された。