[論文レビュー] Modeling Source Syntax for Neural Machine Translation

Junhui Li, Deyi Xiong+4 more|arXiv (Cornell University)|May 2, 2017

Natural Language Processing Techniques参考文献 28被引用数 25

ひとこと要約

本稿では、構文木を構造ラベル列に線形化し、3つのRNNベースのアーキテクチャ（並列型、階層型、混合型）を用いてエンコーダーに統合することで、ニューラル機械翻訳（NMT）におけるソース側構文の明示的モデリングを提案する。混合型RNNモデルは、語とラベルを逐次的に処理するため、中国語→英語翻訳において強力なベースラインより顕著に1.4 BLEUポイントの向上を達成し、明示的な構文モデリングが翻訳の正確性および構文的一致性を向上させることを示している。

ABSTRACT

Even though a linguistics-free sequence to sequence model in neural machine translation (NMT) has certain capability of implicitly learning syntactic information of source sentences, this paper shows that source syntax can be explicitly incorporated into NMT effectively to provide further improvements. Specifically, we linearize parse trees of source sentences to obtain structural label sequences. On the basis, we propose three different sorts of encoders to incorporate source syntax into NMT: 1) Parallel RNN encoder that learns word and label annotation vectors parallelly; 2) Hierarchical RNN encoder that learns word and label annotation vectors in a two-level hierarchy; and 3) Mixed RNN encoder that stitchingly learns word and label annotation vectors over sequences where words and labels are mixed. Experimentation on Chinese-to-English translation demonstrates that all the three proposed syntactic encoders are able to improve translation accuracy. It is interesting to note that the simplest RNN encoder, i.e., Mixed RNN encoder yields the best performance with an significant improvement of 1.4 BLEU points. Moreover, an in-depth analysis from several perspectives is provided to reveal how source syntax benefits NMT.

研究の動機と目的

• 明示的なソース側構文モデリングがニューラル機械翻訳（NMT）の性能を向上させることを調査すること。
• NMTシステムがソース構文を尊重しない問題、例えば不連続的または過剰に翻訳されたフレーズを生成することを是正すること。
• 手動で設計された言語的特徴に依存せずに、構文構造をNMTに統合する方法を検討すること。
• 構文木から導出される構造ラベル列が翻訳の正確性および構文的一致性を向上させることを評価すること。

提案手法

• ソース側のフレーズ構造解析木を、構造ラベル（例：NP、VP、S）の列に線形化して構文構造を表現する。
• 3つのエンコーダー変種を提案する：並列型RNN（語とラベルを並列に処理）、階層型RNN（2段階の階層で処理）、混合型RNN（語とラベルを1つの列に交互に処理）。
• 語と構文的ラベルの両方のための連携アノテーションベクトルを学習することで、構造ラベル列をNMTエンコーダーに統合する。
• 標準的なアテンションベースのseq2seq NMTをベースラインとし、構文を統合する点を除き、エンコーダー以外の部分は変更しない。
• アテンション機構と語レベルの埋め込みを用いて、中国語→英語翻訳のタスクでモデルをエンドツーエンドで学習する。
• OOV語を処理するためにサブワードセグメンテーション（例：バイトペア符号化）を適用し、必要に応じて構造ラベルをサブワード単位に拡張する。

実験結果

リサーチクエスチョン

• RQ1 ソース側構文の明示的モデリングは、ニューラル機械翻訳の性能を向上させることができるか？
• RQ2 構文の統合に用いるアーキテクチャ設計（並列型、階層型、混合型）の違いが翻訳品質に与える影響は何か？
• RQ3 構文的構造を統合することで、名詞句の不連続的翻訳や過剰翻訳といった構文的一致性の欠如が減少するか？
• RQ4 構文的構造の統合が、レア語の翻訳およびOOV処理に与える影響は何か？

主な発見

• 並列型、階層型、混合型RNNの3つの構文に配慮したエンコーダーは、中国語→英語翻訳においてベースラインNMTシステムより翻訳の正確性を向上させた。
• 混合型RNNエンコーダーが最良の性能を示し、NIST MT 02–05テストセットで顕著に1.4 BLEUポイントの向上を達成した。
• 混合型RNNモデルは、ソース側のレア語をUNKでないターゲット語に翻訳する能力が高く、OOV関連の誤りを低減した。
• 分析の結果、明示的な構文モデリングを行わないNMTモデルは、しばしばソースの構文的構造を無視し、不連続的または繰り返しの起こる翻訳を生成することが判明した。
• 本研究は、線形化された解析木と語とラベル表現の共同学習を用いることで、ソース構文をNMTで効果的に活用できることを確認した。
• 本アプローチはサブワードベースの手法と互換性があり、OOV処理を改善するために構造ラベルをサブワード単位に拡張できる。