[論文レビュー] Guiding Neural Machine Translation with Retrieved Translation Pieces

Jingyi Zhang, Masao Utiyama+3 more|arXiv (Cornell University)|Apr 7, 2018

Natural Language Processing Techniques参考文献 15被引用数 19

ひとこと要約

この論文では、類似するソース文を検索し、重複する語の対応するn-gramとして再利用可能な翻訳断片を抽出することで、ニューラル機械翻訳（NMT）を簡易的かつ効率的に改善する手法を提案する。これらの断片を含むNMT出力を強化することで、推論時間のわずかな増加で、限定ドメインのタスクにおいて最大6 BLEUポイントの向上を達成し、モデル構造の変更や再学習を必要とせず、強力な検索ベースのベースラインを精度、速度、シンプルさの面で上回る。

ABSTRACT

One of the difficulties of neural machine translation (NMT) is the recall and appropriate translation of low-frequency words or phrases. In this paper, we propose a simple, fast, and effective method for recalling previously seen translation examples and incorporating them into the NMT decoding process. Specifically, for an input sentence, we use a search engine to retrieve sentence pairs whose source sides are similar with the input sentence, and then collect $n$-grams that are both in the retrieved target sentences and aligned with words that match in the source sentences, which we call "translation pieces". We compute pseudo-probabilities for each retrieved sentence based on similarities between the input sentence and the retrieved source sentences, and use these to weight the retrieved translation pieces. Finally, an existing NMT model is used to translate the input sentence, with an additional bonus given to outputs that contain the collected translation pieces. We show our method improves NMT translation results up to 6 BLEU points on three narrow domain translation tasks where repetitiveness of the target sentences is particularly salient. It also causes little increase in the translation time, and compares favorably to another alternative retrieval-based method with respect to accuracy, speed, and simplicity of implementation.

研究の動機と目的

• ニューラル機械翻訳（NMT）における低頻度語やフレーズの翻訳課題に対処すること。
• 翻訳文の繰り返しが顕著な限定ドメイン翻訳タスクにおけるNMTパフォーマンスを向上させること。
• モデルの微調整や再学習を必要とせず、テスト時のみに適用可能な検索ベースの手法を開発すること。
• 既存の検索拡張NMT手法よりも高い翻訳精度を達成しつつ、計算コストを低く抑え、実装が簡単であることを目指すこと。

提案手法

• 検索エンジンが、入力文と語彙的重複度に基づいて訓練コーパス内の類似したソース・ターゲット文ペアを検索する。
• 各検索されたペアに対して、語レベルのアラインメントを用いて重複するソース語とそれに対応するターゲットn-gram（翻訳断片）を特定する。
• 入力文と検索されたソース文との間の編集距離の類似度に基づいて、各検索文に対して擬似確率スコアを計算する。
• 擬似確率スコアによって翻訳断片を重み付けし、類似度が高く関連性の高い例を優先する。
• NMTモデルを用いて入力文をデコードする際、収集した翻訳断片を含む出力に追加ボーナスを適用する。
• モデルのファインチューニングや構造的変更が不要であり、事前学習済みNMTモデルに対して効率的なテスト時適用が可能である。

実験結果

リサーチクエスチョン

• RQ1 類似したソース文の検索は、低頻度またはドメイン特化フレーズのNMTパフォーマンス向上に寄与するか？
• RQ2 NMTモデル構造を変更せずに、検索された翻訳例をどのように効果的にNMTデコードに統合できるか？
• RQ3 NMT推論における検索ベースの精度向上と計算コストのトレードオフは何か？
• RQ4 既存の検索拡張NMTアプローチと比較して、提案手法は速度、シンプルさ、精度の面でどのように差がつくか？

主な発見

• 本手法は、3つの限定ドメイン翻訳タスク（en-de, en-fr, en-es）において、最大6 BLEUポイントのNMT翻訳パフォーマンス向上を達成した。
• 開発セットでは、en-deで50.61 BLEU、en-frで65.03 BLEU、en-esで57.49 BLEUを達成し、ベースラインNMTおよびSGNMTモデルを上回った。
• テストセットでは、en-deで50.36 BLEU、en-frで65.69 BLEU、en-esで57.11 BLEUを達成し、ベースラインおよびSGNMTモデルに対して一貫した向上を示した。
• 翻訳断片収集が最も時間のかかるステップであったが、総翻訳時間の増加はわずかであり、10件の検索文が最適な検索サイズであった。
• SGNMTと同等またはより高い精度を達成した一方で、実装がはるかに簡単で、テスト時の速度も速かった。
• 本手法はNMT学習時間にほとんど影響を与えず、再学習やパラメータ更新を必要としないため、学習時間の増加は無視できるほどであった。