[論文レビュー] Deconvolution-Based Global Decoding for Neural Machine Translation

Junyang Lin, Xu Sun+4 more|arXiv (Cornell University)|Jun 1, 2018

Natural Language Processing Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、神経機械翻訳（NMT）のためのdeconvolutionベースのグローバルデコード法を提案する。この手法は、翻訳文の全構造的文脈を条件として語の生成を行うことで、逐次的かつ左から右への生成に起因する制限を克服し、翻訳品質を向上させる。実験の結果、最先端のモデルを上回り、繰り返しを低減し、文の長さにかかわらず良好な汎用性を示す。

ABSTRACT

A great proportion of sequence-to-sequence (Seq2Seq) models for Neural Machine Translation (NMT) adopt Recurrent Neural Network (RNN) to generate translation word by word following a sequential order. As the studies of linguistics have proved that language is not linear word sequence but sequence of complex structure, translation at each step should be conditioned on the whole target-side context. To tackle the problem, we propose a new NMT model that decodes the sequence with the guidance of its structural prediction of the context of the target sequence. Our model generates translation based on the structural prediction of the target-side context so that the translation can be freed from the bind of sequential order. Experimental results demonstrate that our model is more competitive compared with the state-of-the-art methods, and the analysis reflects that our model is also robust to translating sentences of different lengths and it also reduces repetition with the instruction from the target-side context for decoding.

研究の動機と目的

• NMTにおける自己回帰的デコードの制限に取り組むこと。自己回帰的デコードは語を逐次的に生成するが、グローバルな構造的文脈を無視する。
• 翻訳文の全体的な構造を各生成ステップに条件づけることで、翻訳品質を向上させること。
• 生成された翻訳文における繰り返しを低減し、さまざまな文の長さにわたって堅牢性を向上させること。

提案手法

• デコード中に、翻訳文全体の構造的表現を予測するdeconvolutionベースのメカニズムを提案する。
• 予測された構造的文脈を、各語の生成ステップにおけるグローバルな条件信号として使用する。
• 構造的予測をデコードプロセスに統合し、局所的かつ左から右への依存関係を超えた生成をガイドする。
• 全翻訳文側構造を活用して語選択を支援する、文脈に配慮したデコード戦略を採用する。
• 構造的事前知識を組み込むことで、逐次的順序に依存しにくくなるようにデコードプロセスを変更する。

実験結果

リサーチクエスチョン

• RQ1 翻訳文のグローバルな構造的文脈は、自己回帰的デコードを超えて神経機械翻訳の品質を向上させることができるか？
• RQ2 構造的予測は、さまざまな文の長さにわたるデコードの堅牢性にどのように影響するか？
• RQ3 提案手法は、生成された翻訳文における繰り返しをどの程度低減できるか？

主な発見

• 提案手法は、最先端のNMT手法と比較して競争力のある性能を達成している。
• 異なる長さの文を翻訳する際、モデルは改善された堅牢性を示している。
• 翻訳文側の構造的文脈によるガイドにより、翻訳における繰り返しが顕著に低減されている。
• deconvolutionベースの構造的予測により、グローバルな文脈認識が可能になり、デコード品質が向上している。