[論文レビュー] Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing

Jetic Gū, Hassan S. Shavarani+1 more|arXiv (Cornell University)|Sep 6, 2018

Natural Language Processing Techniques参考文献 35被引用数 4

ひとこと要約

本稿では、構文に配慮したアテンションと構文的接続（SynC）を用いたDRNNを用いたデコードにおけるトップダウン型ツリー構造ニューラル機械翻訳モデル、Seq2DRNNを提案する。このモデルは、スムーズな翻訳と再順序化の向上を図る。翻訳品質は最先端水準に達し、構文解析性能も競争力を持つ。翻訳とフレーズ構造的構文の両方を統合的にモデル化することで実現された。

ABSTRACT

The addition of syntax-aware decoding in Neural Machine Translation (NMT) systems requires an effective tree-structured neural network, a syntax-aware attention model and a language generation model that is sensitive to sentence structure. We exploit a top-down tree-structured model called DRNN (Doubly-Recurrent Neural Networks) first proposed by Alvarez-Melis and Jaakola (2017) to create an NMT model called Seq2DRNN that combines a sequential encoder with tree-structured decoding augmented with a syntax-aware attention model. Unlike previous approaches to syntax-based NMT which use dependency parsing models our method uses constituency parsing which we argue provides useful information for translation. In addition, we use the syntactic structure of the sentence to add new connections to the tree-structured decoder neural network (Seq2DRNN+SynC). We compare our NMT model with sequential and state of the art syntax-based NMT models and show that our model produces more fluent translations with better reordering. Since our model is capable of doing translation and constituency parsing at the same time we also compare our parsing accuracy against other neural parsing models.

研究の動機と目的

• 翻訳のスムーズさと再順序化を向上させるために、ターゲット側の構文解析構造をデコードプロセスに統合すること。
• 従来の構文に配慮したNMTモデルが下位から構築されるデコードや依存構文解析に依存するという限界を克服し、トップダウン型、ツリー構造のデコーダーを導入すること。
• NMTデコードをガイドする際のフレーズ構造（構成文法）と依存構文の比較を検討し、翻訳品質の向上に寄与するかどうかを明らかにすること。
• 翻訳と構文解析の両方を同時に実行する統合モデルを構築し、競争力のある精度を達成すること。
• DRNNデコーダーに構文的接続（SynC）を導入し、隠れ状態遷移に構造的構文情報を直接統合することで、デコーダーの性能を向上させること。

提案手法

• 元の文の文脈的表現を生成するために、双方向LSTMエンコーダーを用いる。
• 二重再帰ニューラルネットワーク（DRNN）に基づくトップダウン型ツリー構造デコーダーを採用し、階層的・フレーズ構造に配慮した方法でターゲット系列を生成する。
• 構文解析ツリーを活用して、元の表現に対するアテンションをガイドする構文に配慮したアテンション機構を導入する。
• DRNNデコーダーに構文的接続（SynC）を追加し、構造的構文情報が追加の再帰的接続を通じて直接隠れ状態遷移に伝わるようにする。
• 標準的なNMT目的関数（交差エントロピー損失）を用いて、翻訳と解析性能の両方を同時に最適化する形で、エンドツーエンドでモデルを学習する。
• IWSLT（ドメイン内）およびPenn Treebank（ドメイン外）の両データセットで、標準的な構文解析メトリクス（精度、再現率、F1）を用いて解析性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 構文解析ツリーを用いたトップダウン型、ツリー構造のデコーダーは、標準的な逐次的および構文に配慮したモデルと比較して、ニューラル機械翻訳の品質を向上させることができるか？
• RQ2 DRNNベースのデコーダーに構文的接続（SynC）を統合することで、翻訳のスムーズさと再順序化能力が向上するか？
• RQ3 別個の解析ヘッドを必要とせず、単一のモデルが高品質なニューラル機械翻訳と構文解析を同時に実行できるか？
• RQ4 構文解析に基づく構文と依存構文の両者を比較した場合、特に構造的整合性と語の再順序化の観点で、どちらがNMTデコードをより効果的にガイドするか？
• RQ5 SynC接続を含めることで、解析精度がどの程度向上し、同時に優れた翻訳性能を維持できるか？

主な発見

• Seq2DRNN+SynCは、IWSLTにおけるラベルなし構文解析で96.16のF1スコアを達成し、ベースラインのSeq2DRNN（ラベルなしスパンで96.90）を上回り、優れた解析性能を示した。
• 40語未満の文では、正確な一致率が52.16%に達し、翻訳出力の構造的整合性が非常に高いことが示された。
• Seq2DRNN+SynCは、強力なSeq2Seqベースラインや多数の最先端の構文に配慮したNMTモデルと比較して、特に複雑な構文的構造の再順序化において、よりスムーズな翻訳を生成した。
• 長文の解析では90.5のF1スコアを達成し、長さの変動に強く、優れた一般化性能を示した。
• SynCの導入により、解析F1はわずかに低下（96.16 vs. 96.90）したが、翻訳品質と再順序化能力は顕著に向上し、NMTにとって有益なトレードオフが実現された。
• Penn Treebankにおける構文解析でも、F1スコア87.04を達成し、統合型NMTおよび解析システムとしての実力を裏付けた。