[論文レビュー] Tree-to-Sequence Attentional Neural Machine Translation

Akiko Eriguchi, Kazuma Hashimoto+1 more|arXiv (Cornell University)|Mar 19, 2016

Natural Language Processing Techniques参考文献 27被引用数 41

ひとこと要約

この論文では、木LSTMエンコーダーを用いて源言語のフレーズ構造を統合することで、sequence-to-sequence NMTを強化するツリー・ツー・シークエンスの注目メカニズムを備えたニューラル機械翻訳モデルを提案する。ターゲット語の語と源語およびフレーズの間でソフトアライメントを可能にすることで、WAT’15の英語→日本語翻訳タスクで最先端の性能を達成し、標準的な注目メカニズムNMTを上回り、最高のツリー・ツー・ストリングSMTシステムと同等の性能を発揮した。

ABSTRACT

Most of the existing Neural Machine Translation (NMT) models focus on the conversion of sequential data and do not directly use syntactic information. We propose a novel end-to-end syntactic NMT model, extending a sequence-to-sequence model with the source-side phrase structure. Our model has an attention mechanism that enables the decoder to generate a translated word while softly aligning it with phrases as well as words of the source sentence. Experimental results on the WAT'15 English-to-Japanese dataset demonstrate that our proposed model considerably outperforms sequence-to-sequence attentional NMT models and compares favorably with the state-of-the-art tree-to-string SMT system.

研究の動機と目的

• 英語→日本語のような構造的に遠く離れた言語対において、標準的なNMTモデルがフレーズレベルのアライメントを処理できないという限界を是正すること。
• 文構造ツリーからの句構造の構文的構造をNMTフレームワークに統合し、語とフレーズのアライメントを改善すること。
• 標準的な注目メカニズムを拡張し、個々の源語だけでなく、構文的フレーズに対してもソフトアライメントを可能にすること。
• ツリーに基づくエンコーダーを用いて明示的な構文的構造を統合することで、標準的な逐次的エンコーダーと比較して翻訳品質が向上するかどうかを評価すること。
• フレーズに敏感な注目メカニズムが、特に多語彙表現においてより正確で文脈的に適切な翻訳をもたらすかどうかを示すこと。

提案手法

• モデルは、文法解析ツリーに基づいて下位から上位へ再帰的に処理する木LSTMエンコーダーを用い、フレーズと語を同時に符号化する。
• 解析ツリー内の各ノードは、子ノードからの情報を集約する木LSTMユニットで表現され、構文的構成要素の階層的符号化が可能になる。
• デコーダーは、個々の語だけでなく、すべての源ノード（語とフレーズ）との間でアライメントスコアを計算する注目メカニズムを用いる。
• 注目重みはすべての源ノードに対して計算され、デコーダーが文脈に応じて関連するフレーズや語に注目できるようになり、アライメントは確率分布として表現される。
• モデルはエンド・ツー・エンドでクロスエントロピー損失を用いて学習され、推論時にはビームサーチが使用され、最終的な翻訳が生成される。
• 注目メカニズムは、現在のデコード状態に応じて、名詞句や動詞句などの関連する構文的単位に動的に注目を向ける。

実験結果

リサーチクエスチョン

• RQ1 NMTモデルに構文的フレーズ構造を統合することで、英語→日本語のような構造的に遠く離れた言語対における翻訳性能が向上するか？
• RQ2 フレーズに敏感な注目メカニズムを備えたツリー型エンコーダーは、標準的な語レベルの注目メカニズムと比較して、源フレーズとターゲット語の間のアライメントが改善されるか？
• RQ3 統計的機械翻訳システムが構文的構造を用いる場合と比較して、本モデルは競争力あるか、あるいは優れた性能を発揮するか？
• RQ4 モデルは多語彙表現やヌル翻訳（例：直接翻訳されない冠詞や前置詞）をどのように処理するか？
• RQ5 注目重みが、例えば「a cup of green tea」を「緑茶」と対応付けるような意味のある構文的アライメントを反映している程度はどの程度か？

主な発見

• 提案されたツリー・ツー・シークエンスNMTモデルは、WAT’15の英語→日本語翻訳データセットで最高のRIBESスコアを達成し、標準的なsequence-to-sequenceの注目メカニズムNMTモデルを上回った。
• モデルは、「a cup of green tea」を単一の日本語語「緑茶」と対応付けるなど、多語彙表現の翻訳において優れた性能を示した。
• 注目可視化の結果、モデルは「liquid crystal for active matrix」が「液晶」と対応するように、全体のフレーズに高い注目スコアを割り当てられていた。
• モデルは機能語や前置詞を関連するフレーズに適切にアライメントさせることができた。例えば「of」が「Si dot MOS capacitor」と対応づけられていた。
• モデルは「アクティブ」の代わりに「活性」と翻訳するような同義語翻訳を生成したが、BLEUスコアではペナルティを受けても、人間評価では妥当とされた。これは意味的アライメントの強さを示している。
• モデルは、最先端のツリー・ツー・ストリングSMTシステムと同等の結果を達成し、構文的構造を統合したニューラルモデルの有効性を示した。