[論文レビュー] Modeling Coherence for Neural Machine Translation with Dynamic and Topic Caches

Shaohui Kuang, Deyi Xiong+2 more|arXiv (Cornell University)|Nov 30, 2017

Natural Language Processing Techniques参考文献 23被引用数 81

ひとこと要約

この論文は、以前の翻訳からの動的キャッシュと文書トピックから派生したトピックキャッシュを用い、文書レベルの一貫性を改善するためにキャッシュベースのニューラルモデルをNMTに導入し、キャッシュ確率をゲーティング機構を介してNMTデコーダと統合し、エンドツーエンドで訓練する。

ABSTRACT

Sentences in a well-formed text are connected to each other via various links to form the cohesive structure of the text. Current neural machine translation (NMT) systems translate a text in a conventional sentence-by-sentence fashion, ignoring such cross-sentence links and dependencies. This may lead to generate an incoherent target text for a coherent source text. In order to handle this issue, we propose a cache-based approach to modeling coherence for neural machine translation by capturing contextual information either from recently translated sentences or the entire document. Particularly, we explore two types of caches: a dynamic cache, which stores words from the best translation hypotheses of preceding sentences, and a topic cache, which maintains a set of target-side topical words that are semantically related to the document to be translated. On this basis, we build a new layer to score target words in these two caches with a cache-based neural model. Here the estimated probabilities from the cache-based neural model are combined with NMT probabilities into the final word prediction probabilities via a gating mechanism. Finally, the proposed cache-based neural model is trained jointly with NMT system in an end-to-end manner. Experiments and analysis presented in this paper demonstrate that the proposed cache-based model achieves substantial improvements over several state-of-the-art SMT and NMT baselines.

研究の動機と目的

• 文レベルを超える神経機械翻訳における文書レベルの一貫性制約を動機づける。
• クロス文とトピック情報を捉えるために2つのキャッシュ（動的キャッシュとトピックキャッシュ）を導入する。
• キャッシュエントリをスコア付けし、NMT予測と統合するキャッシュベースのニューラルモデルを開発する。
• エンドツーエンドの枠組みでキャッシュモデルをNMTシステムと jointly train する。
• NIST中国語–英語翻訳においてSMT/NMTのベースラインに対して有効性を示す。

提案手法

• 最近翻訳された文からの語を格納する動的キャッシュを定義する（FIFO退避とストップワード除外付き）。
• LDAベースのトピック投影モデルを用いてソースのトピックをターゲット側のトピック語へ写像することでトピックキャッシュを定義する。
• デコーダ状態、文脈、キャッシュ語を用いてキャッシュ語にスコアを算出するキャッシュスコアラー神経ネットワークを実装し、p_cache(y_t|...) を生成する。
• キャッシュ確率と標準のNMT確率をゲーティング機構で組み合わせる: p(y_t|...) = (1-α_t) p_cache(y_t|...) + α_t p_nmt(y_t|...).
• トレーニングコーパスのネガティブ対数尤度を最小化することで全体をエンドツーエンドで訓練する。
• NIST中国語–英語タスクで評価し、MosesおよびRNNSearch*ベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 文書全体のキャッシュを取り入れることで神経機械翻訳の文書レベルの一貫性を改善できるか。
• RQ2 動的（最近の翻訳）キャッシュとトピックベースキャッシュの翻訳品質への影響はどうか。
• RQ3 ゲーティング機構はキャッシュベース予測と標準NMT予測を効果的に統合できるか。
• RQ4 トピックキャッシュと動的キャッシュは文書全体の一貫性と整合性にどう影響するか。

主な発見

• 動的キャッシュとトピックキャッシュの組み合わせはRNNSearch*よりBLEUを平均1.60ポイント改善（ Mosesで4.83）。
• 動的キャッシュとトピックキャッシュを合わせると最良の平均BLEU改善をもたらす（RNNSearch*_+Cd,Ct = 35.52 Avg）。
• ゲーティング機構は重要で、ゲートを固定すると（α=0.3）性能が著しく低下する。
• トピックキャッシュはグローバルな文書トピックに合わせて開始文の翻訳を支援する一方、動的キャッシュは文の一貫性を支援する。
• キャッシュ対応NMTは隣接文のコサイン類似度で見てもベースラインより高い一貫性を示す（0.4274 vs 0.4259）。
• キャッシュを用いた翻訳例は、一貫した翻訳選択を示す（例：同一の中国語語 term に対して同じ語を用いる）。