[論文レビュー] Search Engine Guided Non-Parametric Neural Machine Translation

Jiatao Gu, Yong Wang+2 more|arXiv (Cornell University)|May 20, 2017

Natural Language Processing Techniques参考文献 40被引用数 34

ひとこと要約

本稿では、ブラックボックス検索エンジンを用いてトレーニング中の文脈ペアを検索し、デコード時にそれらをソース文と統合する、注目メカニズムに基づくNMTの非パrametric拡張である検索エンジン誘導型ニューラル機械翻訳（SEG-NMT）を提案する。この手法は翻訳品質を顕著に向上させ、特に高品質な検索が可能な場合に顕著であり、En-FrおよびEn-Deの設定において、強力なベースラインより最大5.21 BLEUポイントの向上を達成する。

ABSTRACT

In this paper, we extend an attention-based neural machine translation (NMT) model by allowing it to access an entire training set of parallel sentence pairs even after training. The proposed approach consists of two stages. In the first stage--retrieval stage--, an off-the-shelf, black-box search engine is used to retrieve a small subset of sentence pairs from a training set given a source sentence. These pairs are further filtered based on a fuzzy matching score based on edit distance. In the second stage--translation stage--, a novel translation model, called translation memory enhanced NMT (TM-NMT), seamlessly uses both the source sentence and a set of retrieved sentence pairs to perform the translation. Empirical evaluation on three language pairs (En-Fr, En-De, and En-Es) shows that the proposed approach significantly outperforms the baseline approach and the improvement is more significant when more relevant sentence pairs were retrieved.

研究の動機と目的

• トレーニング後でもトレーニングデータの全セットへのアクセスを可能にすることでニューラル機械翻訳を拡張し、検索ベースの知識統合によって翻訳品質を向上させること。
• 大規模な並列コーパスのスケーラビリティの課題に対処するため、効率的な関連例の検索を可能にする市販の検索エンジンを統合すること。
• 入力ソース文と、検索されたソース-ターゲットペアの両方からの情報をシームレスに統合するニューラル翻訳モデルを設計し、翻訳の一貫性と正確性を向上させること。
• JRC-Acquis法的コーパスを用いて、複数の言語対についてドメイン特化された設定における検索拡張NMTの有効性を評価すること。
• 検索品質および検索ペア数が翻訳性能に与える影響を、特に低リソースまたはドメイン特化された状況において調査すること。

提案手法

• 入力ソース文に基づき、大規模な並列コーパスから関連するトレーニング文ペアの小さなサブセットを市販のブラックボックス検索エンジンを用いて検索する。
• 編集距離に基づく曖昧マッチングスコアを用いて、検索された文ペアをフィルタリング・精錬し、入力ソース文との関連性を保証する。
• 新規の翻訳モデル、SEG-NMTを採用し、ゲーティング機構（式6）を用いてソース文と検索ペアを浅い統合により融合させ、両方の情報ストリームに同時に注目できるようにする。
• 二重アテンションメカニズムを採用：一つは通常のエンコーダ-デコーダアテンション（ソース文に対して）、もう一つはキーバリューメモリ構造を介して検索されたターゲット側トークンに注目するアテンション。
• 推論時に最適な関連ペアを選択するためのグリーディ選択アルゴリズム（アルゴリズム1）を実装し、検索品質を最適化する。
• 固定サイズのメモリバッファを用いて検索ペアを保持し、事前処理により全トレーニングペアに対してメモリを事前にプリロードすることで、実行時オーバーヘッドを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 推論時に、トレーニング済みモデルに依存するのではなく、関連する文ペアを検索することで、全トレーニングコーパスへのアクセスをニューラル機械翻訳システムが有効に活用できるか。
• RQ2 検索されたトレーニングペアの品質（曖昧マッチングスコアで測定）が、提案モデルの翻訳パフォーマンスに与える影響は何か。
• RQ3 翻訳品質を最大化するための最適な検索翻訳ペア数は何か。また、過剰または不適切な検索がパフォーマンスに悪影響を及えるか。
• RQ4 浅い統合（shallow fusion）と深い統合（deep fusion）の間で、翻訳品質および耐性（ロバストネス）に差は生じるか。
• RQ5 検索拡張モデルは、標準的な注目メカニズムベースNMTと比較して、翻訳の一貫性および語彙選択にどの程度向上をもたらすか。

主な発見

• 提案されたSEG-NMTモデルは、En-Fr方向でベースライン比5.21 BLEUポイント、En-De方向で4.95 BLEUポイントのスコア向上を達成し、検索拡張翻訳による顕著な向上を示している。
• 検索ペア数が約4まで増加するにつれて翻訳品質が向上するが、それ以上に増加すると関連性の低いペアが混入するためパフォーマンスが低下する。
• 最良のパフォーマンスは、提案されたグリーディ選択アルゴリズム（アルゴリズム1）を用いた場合に達成され、1回の推論あたり平均4.814個の関連ペアを検索し、効用を最大化している。
• 浅い統合（式6）は深い統合を大きく上回り、5.21および4.95 BLEUポイントの向上を示しており、ゲーティング機構がソース情報と検索情報のバランスを効果的に制御していることが示唆される。
• 語彙的一致性が向上し、検索ペアに「exact」という語が含まれる場合に「précis」を「exact」と翻訳するなど、検索ペアからの語彙や表現を多く採用する傾向が見られ、より一貫性がありコーパスに整合した翻訳が得られている。
• 検索段階は計算オーバーヘッドが無視できるほど小さく（1クエリあたり数ミリ秒）、検索ペア数が固定されているため翻訳段階の計算量は一定であり、実世界への導入に実用的で効率的なシステムである。