[論文レビュー] Deep Neural Machine Translation with Linear Associative Unit

Mingxuan Wang, Zhengdong Lu+2 more|arXiv (Cornell University)|May 2, 2017

Natural Language Processing Techniques参考文献 24被引用数 14

ひとこと要約

本論文は、線形変換と非線形変換を統合することで、時間的・空間的両方の方向に遮断のない勾配伝播を可能にする、新しい再帰的ニューラルネットワークユニット「Linear Associative Unit（LAU）」を提案する。得られるDeepLAUモデルは、中国語-英語翻訳タスクでGroundhogより11.7 BLEUの向上を達成し、英語-ドイツ語および英語-フランス語のWMT14タスクでも競争力のある結果を示し、深層構造における優れた訓練安定性と性能を実証した。

ABSTRACT

Deep Neural Networks (DNNs) have provably enhanced the state-of-the-art Neural Machine Translation (NMT) with their capability in modeling complex functions and capturing complex linguistic structures. However NMT systems with deep architecture in their encoder or decoder RNNs often suffer from severe gradient diffusion due to the non-linear recurrent activations, which often make the optimization much more difficult. To address this problem we propose novel linear associative units (LAU) to reduce the gradient propagation length inside the recurrent unit. Different from conventional approaches (LSTM unit and GRU), LAUs utilizes linear associative connections between input and output of the recurrent unit, which allows unimpeded information flow through both space and time direction. The model is quite simple, but it is surprisingly effective. Our empirical study on Chinese-English translation shows that our model with proper configuration can improve by 11.7 BLEU upon Groundhog and the best reported results in the same setting. On WMT14 English-German task and a larger WMT14 English-French task, our model achieves comparable results with the state-of-the-art.

研究の動機と目的

• ニューラル機械翻訳に用いられる深層再帰的ニューラルネットワークにおける勾配消失問題に対処すること。
• エンコーダ・デコーダ構造における最適化を改善するため、再帰ユニット内の勾配パス長を短縮すること。
• より深いネットワークでも性能劣化が生じない、シンプルでありながら効果的な再帰ユニットを設計すること。
• より深いモデルを用いても主要なNMTベンチマークで最先端または競争力のある結果を達成すること。
• 深さが、複雑な言語的構造をモデル化する上で、幅よりもより有益であることを実証すること。

提案手法

• 再帰ユニット内に線形変換と非線形変換を統合することで、直接的な情報伝達を可能にするLinear Associative Unit（LAU）を提案する。
• LAUは、入力と隠れ状態の線形和を計算するとともに、非線形変換を適用することで、ショートカット経路と逐次経路の両方を可能にする。
• このアーキテクチャにより、時間的・空間的両方向に遮断のない勾配伝播が実現され、勾配消失の影響が軽減される。
• LAUを用いた深層エンコーダおよびデコーダを採用し、最適化の崩壊を防ぐために深いスタックが可能になる。
• 標準的なアテンション機構とクロスエントロピー損失を用いたシーケンス・トゥ・シーケンス学習を採用する。
• NIST中国語-英語およびWMT14英語-ドイツ語/フランス語の標準NMTベンチマークを用いて、BLEUスコアでモデル性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 新しい再帰ユニット設計により、勾配パス長を短縮し、深層NMTモデルにおける訓練安定性を向上させることができるか？
• RQ2 再帰ユニット内に直接的な線形情報伝達を可能にすることで、長文や複雑な文に対する性能が向上するか？
• RQ3 LAUを用いたより深いネットワークは、パrameter数が少ないにもかかわらず、浅いモデルを上回る性能を発揮できるか？
• RQ4 残差接続やファストフォワード接続と比較して、LAUはBLEUスコアおよび訓練安定性において優れているか？
• RQ5 ニューラル機械翻訳における性能向上において、深さが幅よりもどれほど寄与しているか？

主な発見

• NIST中国語-英語翻訳タスクにおいて、DeepLAUはGroundhogより11.7 BLEUの向上を達成し、標準的手法を用いた強力なNMTベースラインよりも4.9 BLEUの向上を示した。
• 8層エンコーダおよび6層デコーダを用いた場合、DeepLAUは39.01のBLEUスコアを達成し、DeepGRUや他のベースラインを上回った。
• パrameter数が少ないにもかかわらず、深さ（8,6）を活かしたDeepLAUは、幅広いDeepGRUモデルを上回る性能を示し、深さが幅よりも有益であることを示した。
• WMT14英語-ドイツ語および英語-フランス語タスクにおいて、DeepLAUは最先端モデルと同等の結果を達成した。
• 長文においてもDeepLAUは性能向上を維持し、全長さのカテゴリにおいて、DeepGRUよりも一貫して高いBLEUスコアを示した。
• 極めて深い構造（例：エンコーダに8層）においても、DeepLAUは安定した訓練を示したが、標準的なDeepGRUモデルは性能が劣化した。