[論文レビュー] Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder

Huadong Chen, Shujian Huang+2 more|arXiv (Cornell University)|Jul 18, 2017

Natural Language Processing Techniques参考文献 15被引用数 33

ひとこと要約

この論文は、エンコーダーとデコーダーの両方を明示的なソース側構文木で強化する構文に配慮したニューラル機械翻訳モデルを提案する。双方向木エンコーダーを導入してより豊かな文脈表現を実現し、句単位の一体性をガイドする木カバレッジ注意機構を採用することで、標準的なアテンションベースのNMTよりも+3.54 BLEU、またTree-LSTMとカバレッジを組み合わせた強力なベースラインよりも+1.90 BLEUの向上を達成した。特に長文翻訳において顕著な改善が見られた。

ABSTRACT

Most neural machine translation (NMT) models are based on the sequential encoder-decoder framework, which makes no use of syntactic information. In this paper, we improve this model by explicitly incorporating source-side syntactic trees. More specifically, we propose (1) a bidirectional tree encoder which learns both sequential and tree structured representations; (2) a tree-coverage model that lets the attention depend on the source-side syntax. Experiments on Chinese-English translation demonstrate that our proposed models outperform the sequential attentional model as well as a stronger baseline with a bottom-up tree encoder and word coverage.

研究の動機と目的

• エンコーダーとデコーダーの両方において、ソース側の構文木構造を明示的に組み込むことで、ニューラル機械翻訳の性能を向上させること。
• 翻訳において長距離依存関係や句単位の一体性を捉えられない順序付きモデルの限界を解消すること。
• 下位から上位、および上位から下位への木エンコーディングを統合することで、より豊かな構文的文脈を学習する表現学習の向上。
• 構文構造を尊重し、重複翻訳を回避するように、木カバレッジ機構を用いてデコーダーの生成をガイドすること。
• 構文構造の取り入れが、特に長く複雑な文において翻訳品質を向上させることを実証すること。

提案手法

• 各構文木のノードに対してより豊かな表現を生成するため、下位から上位および上位から下位へのエンコーディングを統合する双方向木エンコーダーを提案する。
• 木構造の表現をモデル化するためにTree-GRUを用い、上位から下位へのエンコーディングによりルートから葉へ情報を伝搬する。
• 語の単位だけでなく、構文的部分木に対しても注目を追跡するように拡張した木カバレッジモデルを導入する。
• 2段階の訓練戦略を採用する：まず下位からのエンコーダーを事前学習し、その後ランダムな上位からの初期化を用いて全双方向エンコーダーを微調整する。
• アテンションベースのシーケンス・トゥ・シーケンスフレームワーク内に、構文に配慮したエンコーダーと木カバレッジデコーダーを統合する。
• 翻訳のエンコーディングとデコーディングをガイドするため、事前に計算された構文木（例：遷移ベースのパーサーから得たもの）を入力として用いる。

実験結果

リサーチクエスチョン

• RQ1 エンコーダーに明示的な構文木構造を組み込むことで、ニューラル機械翻訳の表現学習が向上するか？
• RQ2 双方向木エンコーダーによる上位からの構文的文脈の組み込みが、単方向木エンコーダーに比べて翻訳性能を向上させるか？
• RQ3 デコーダーに木カバレッジ機構を導入することで、句単位の一体性が向上し、重複翻訳が減少するか？
• RQ4 エンコーダーとデコーダーの両方で構文を統合することで、片方でのみ構文を用いる場合に比べてより大きな向上が得られるか？
• RQ5 構文に配慮したアプローチが、複雑な構文的依存関係を持つ長文の翻訳性能にどのように影響を与えるか？

主な発見

• 双方向木エンコーダーは、中国語-英語翻訳において標準的な順序付きアテンションベースのNMTモデルよりも+3.54 BLEUの向上を達成した。
• 強力なベースライン（Tree-LSTMと語のカバレッジを組み合わせたもの）よりも+1.90 BLEUの向上を達成した。
• 20語を超える文において特に顕著な向上が見られ、50語を超える文において最大の改善が観察された。
• 木カバレッジモデルは、語のカバレッジモデルを上回り、句単位の一体性を保つ点で一貫して翻訳品質を向上させた。
• 2段階の訓練戦略により、ランダム初期化からの学習が困難な双方向木エンコーダーの安定した訓練が可能になった。
• 隣接ノードの文脈をカバレッジモデルに追加しても性能向上が得られず、むしろBLEUが0.2ポイント低下した。