[論文レビュー] Incorporating Syntactic Uncertainty in Neural Machine Translation with Forest-to-Sequence Model

Poorya Zaremoodi, Gholamreza Haffari|arXiv (Cornell University)|Nov 19, 2017

Natural Language Processing Techniques参考文献 16被引用数 14

ひとこと要約

本稿では、構文解析木のパックドフォレストを用いて構文的不確実性をモデル化する、フォレスト・ツー・シーケンスの注意メカニズムを備えたニューラル機械翻訳モデルを提案する。指数的多数の解析木に対する動的計画法を用いることで、誤りに左右されやすい単一の解析木に依存するのを軽減し、英語→ドイツ語、中国語、ペルシャ語の翻訳タスクにおいて、木ベースのシーケンスモデルおよび通常のシーケンス・ツー・シーケンスモデルよりも高いBLEUスコアを達成した。

ABSTRACT

Incorporating syntactic information in Neural Machine Translation models is a method to compensate their requirement for a large amount of parallel training text, especially for low-resource language pairs. Previous works on using syntactic information provided by (inevitably error-prone) parsers has been promising. In this paper, we propose a forest-to-sequence Attentional Neural Machine Translation model to make use of exponentially many parse trees of the source sentence to compensate for the parser errors. Our method represents the collection of parse trees as a packed forest, and learns a neural attentional transduction model from the forest to the target sentence. Experiments on English to German, Chinese and Persian translation show the superiority of our method over the tree-to-sequence and vanilla sequence-to-sequence neural translation models.

研究の動機と目的

• ニューラル機械翻訳における誤りに左右されやすい単一の解析木に依存するという限界を是正すること。
• 構文的不確実性をモデル化することで、低リソース言語対および構文的にかけ離れた言語対の翻訳性能を向上させること。
• 出力文の可能な構文構造の確率分布を完全に捉える効率的な手法を開発すること。
• フォレスト・ツー・シーケンスモデルが、1-best木やシーケンス・ツー・シーケンスのベースラインを上回る翻訳品質を示すことを実証すること。

提案手法

• 入力文の可能な解析木の集合を、コンactなパックドフォレストデータ構造として表現する。
• フォレストに含まれるすべての木から同時にフレーズ埋め込みを計算するために、ボトムアップ型の動的計画法を採用する。
• 標準的な注意メカニズムを備えたエンコーダ・デコーダフレームワークを拡張し、フォレストから導出された単語レベルおよびフレーズレベルの埋め込みに注目できるようにする。
• 個々の語とフォレスト内の構文的フレーズの両方に基づいて文脈ベクトルを計算する、変更を加えた注意メカニズムを用いる。
• 開発セットでの早期停止を伴う確率的勾配降下法を用いて、モデルをエンド・ツー・エンドで訓練する。
• 推論にはビームサーチデコードとグリーディデコードを適用し、BLEUスコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 解析木のフォレストを用いて構文的不確実性をモデル化することで、ニューラル機械翻訳の性能が向上するか？
• RQ2 フォレスト・ツー・シーケンスモデルは、1-best解析木に基づくモデルや標準的なシーケンス・ツー・シーケンスアーキテクチャを上回るか？
• RQ3 文の長さや解析の不確実性の程度が異なる言語対において、モデルの性能はどのように変化するか？
• RQ4 フォレストを用いる場合と単一の木を用いる場合とで、モデルの注意メカニズムがフレーズレベルの表現にどれほど注目するか、その程度はいかほどか？

主な発見

• フォレスト・ツー・シーケンスモデルは、英語→ドイツ語、英語→中国語、英語→ペルシャ語の3言語対すべてにおいて、木ベースのシーケンスモデルおよび通常のシーケンス・ツー・シーケンスモデルよりも高いBLEUスコアを達成した。
• モデルは、すべての文長のバケットで一貫した改善を示し、長文だけでなく短文に対しても恩恵をもたらすことがわかった。
• 特に英語→ペルシャ語データセットで最大の性能向上（最高0.7 BLEUポイント）が観察され、これは解析の不確実性が最も高かったためである。
• 注意の分析から、フォレストモデルは木ベースのモデルよりも顕著にフレーズレベルの埋め込みに注目していることが明らかになった。これは、構文構造をより効果的に活用していることを示している。
• フォレスト内の解析木の多様性を効果的に活用することで、解析エラーの影響を相殺し、構文的曖昧性に対して高い耐性を示した。