[論文レビュー] Deep Neural Machine Translation with Weakly-Recurrent Units

Mattia Antonino Di Gangi, Marcello Federico|arXiv (Cornell University)|May 10, 2018

Natural Language Processing Techniques参考文献 30被引用数 11

ひとこと要約

この論文では、層ごとの正規化とマルチヘッドアテンションを弱い再帰的ユニットに組み合わせることで、学習効率と翻訳品質を向上させる、シンプルな再帰的ニューラル機械翻訳（SR-NMT）を提案する。SR-NMTは、WMT14 En-DeでLSTMベースのGNMTを上回るBLEUスコアを達成するとともに、1枚のGPUで2倍速く学習が可能であり、最適化された再帰的ユニットが、顕著に低い計算コストで標準LSTMを凌駕できることを示している。

ABSTRACT

Recurrent neural networks (RNNs) have represented for years the state of the art in neural machine translation. Recently, new architectures have been proposed, which can leverage parallel computation on GPUs better than classical RNNs. Faster training and inference combined with different sequence-to-sequence modeling also lead to performance improvements. While the new models completely depart from the original recurrent architecture, we decided to investigate how to make RNNs more efficient. In this work, we propose a new recurrent NMT architecture, called Simple Recurrent NMT, built on a class of fast and weakly-recurrent units that use layer normalization and multiple attentions. Our experiments on the WMT14 English-to-German and WMT16 English-Romanian benchmarks show that our model represents a valid alternative to LSTMs, as it can achieve better results at a significantly lower computational cost.

研究の動機と目的

• 標準LSTMやGRUを越えて再帰的ユニットを最適化することで、再帰的ニューラル機械翻訳（NMT）の効率と性能を向上させること。
• 層ごとの正規化やマルチヘッドアテンションといった現代的コンponentsを備えた弱い再帰的ユニットが、より複雑な非再帰的アーキテクチャを凌駕できるかどうかを調査すること。
• 最先端のLSTMベースのモデル（例：GoogleのGNMT）と比較して、翻訳品質を維持または向上させつつ、学習コストを削減すること。
• 層ごとの正規化、マルチアテンション、ハイウェイ接続といった主要なアーキテクチャ的要素がモデル性能に与える寄与度を評価すること。

提案手法

• モデルは、より良い学習効率を実現するために設計された、簡素化され、高速で弱い再帰的性質を持つRNNの変種である、簡易再帰ユニット（SRU）の改変版を使用している。
• 層ごとの正規化は、層間の分布シフトを低減することで、学習の安定化と高速化を実現する。
• マルチヘッドアテンションは、長距離依存関係のモデリングを向上させ、より豊かな文脈表現を捉えるためにSRUユニットに統合されている。
• ハイウェイ接続は、元のSRU定式化から引き継がれており、勾配の流れを促進し、深層アーキテクチャの実現を可能としている。
• アーキテクチャは、標準的なシーケンス・ツー・シーケンス学習にアテンションを組み合わせ、すべての実験で1枚のGPUを使用して学習されている。
• モデルは、BLEUスコアと学習時間を指標として用い、WMT14英語→ドイツ語およびWMT16英語→ルーマニア語ベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 層ごとの正規化とマルチヘッドアテンションを備えた弱い再帰的ユニットは、翻訳品質と学習効率の両面で、標準LSTMベースのNMTモデルを上回ることができるか？
• RQ2 層ごとの正規化とマルチヘッドアテンションが、個別および併用した場合に、SR-NMTモデルの性能にどのように寄与しているか？
• RQ3 最適化されたコンponentsを備えた再帰的アーキテクチャは、Transformer や ConvS2S といった非再帰的モデルに比べて、どの程度の性能を達成できるか？
• RQ4 提案されたアーキテクチャは、最先端のLSTMシステムと比較して、計算リソースを削減しても強力な性能を維持できるか？

主な発見

• 8層のSR-NMTは、WMT14英語→ドイツ語ベンチマークで、GNMT（8層LSTM）を上回り、1枚のK80 GPUで12日間で学習したのに対し、GNMTは96枚のK80 GPUで6日間で学習した。BLEUスコアはSR-NMTが25.04、GNMTが報告値25.16であった。
• 最良の性能を示したSR-NMT（9層）は、BLEUスコア25.04を達成したが、これは15層の畳み込みモデルのスコアからわずか0.12ポイント低いにとどまり、層の数と計算パワーの両方を大幅に削減したにもかかわらず、その性能を維持している。
• WMT16英語→ルーマニア語ベンチマークでは、SR-NMT（6層）がBLEUスコア29.04を達成し、WMT16共有タスク優勝システムをほぼ1 BLEUポイント上回った。
• アブレーションスタディの結果、ハイウェイ接続を削除すると性能が最も大きく低下（-2.14 BLEUポイント）、次にマルチアテンション（-1.42）と層ごとの正規化（-1.02）が続くことから、これらが学習の安定性と正確性に重要な役割を果たしていることが示された。
• 層ごとの正規化とハイウェイ接続の両方を削除すると、勾配爆発が発生し学習が失敗したため、収束の観点からこれらが極めて重要であることが明らかになった。
• 層ごとの正規化、マルチアテンション、ハイウェイ接続の寄与度は、おおよそ加法的であることが示され、それぞれが異なる最適化および表現の課題に対処していることが示唆された。