[論文レビュー] A Convolutional Encoder Model for Neural Machine Translation

Jonas Gehring, Michael Auli+2 more|arXiv (Cornell University)|Nov 7, 2016

Natural Language Processing Techniques参考文献 29被引用数 64

ひとこと要約

この論文では、双方向LSTMの代わりにスタックされた拡張畳み込み層と残差接続を用いた畳み込みニューラルネットワーク（CNN）エンコーダーを提案する。モデルはWMTベンチマークで競争力のある翻訳精度を達成するとともに、CPU推論速度が最大2.1倍速くなることを示しており、シーケンス・トゥ・シーケンスタスクにおいてCNNがRNNベースのモデルを同等または上回る速度と性能を達成できることを示している。

ABSTRACT

The prevalent approach to neural machine translation relies on bi-directional LSTMs to encode the source sentence. In this paper we present a faster and simpler architecture based on a succession of convolutional layers. This allows to encode the entire source sentence simultaneously compared to recurrent networks for which computation is constrained by temporal dependencies. On WMT'16 English-Romanian translation we achieve competitive accuracy to the state-of-the-art and we outperform several recently published results on the WMT'15 English-German task. Our models obtain almost the same accuracy as a very deep LSTM setup on WMT'14 English-French translation. Our convolutional encoder speeds up CPU decoding by more than two times at the same or higher accuracy as a strong bi-directional LSTM baseline.

研究の動機と目的

• ニューラル機械翻訳における双方向LSTMエンコーダーの代替として、より高速で並列処理に適した手法を開発すること。
• 畳み込みネットワークが、ソースシーケンスにおける長距離依存関係を効果的にモデル化できるかどうかを調査すること。
• 特にCPUハードウェア上で翻訳品質を損なわずに推論速度を向上させること。
• 非再帰的エンコーダーにおける残差接続と位置埋め込みの有効性を検討すること。
• 標準的なNMTベンチマーク上で、畳み込みエンコーダーの性能を最先端のRNNベースのモデルと比較すること。

提案手法

• 受容 field を拡大するために、カーネルサイズ3のスタックされた拡張1次元畳み込み層と拡張率を用いる。
• 非常に深いアーキテクチャを可能にするために、畳み込みブロック間で残差接続を適用する。
• 順序情報の保持のため、学習可能な位置埋め込みを統合する。
• 注意スコアの計算と条件付き入力の集約のため、別々の1×1畳み込み層を用いる。
• クエリ、キー、バリューの投影をデコーダー状態とエンコーダー出力から得るドット積注意機構を採用する。
• 出力層の計算コストを削減することでデコードを高速化するため、語彙選択を適用する。

実験結果

リサーチクエスチョン

• RQ1 完全に畳み込み型のエンコーダーは、ニューラル機械翻訳において双方向LSTMエンコーダーと同等またはそれ以上の性能を達成できるか？
• RQ2 拡張畳み込みと残差接続の使用が、ソースシーケンスにおける長距離依存関係の効果的モデル化を可能にするか？
• RQ3 再帰的モデルと比較して、畳み込みエンコーダーはCPUハードウェア上でどの程度推論速度を向上させられるか？
• RQ4 位置埋め込みと別々の注意計算レイヤーは、非再帰的エンコーダーにおける性能にどのように影響するか？
• RQ5 単純な非再帰的アーキテクチャが、標準的なNMTベンチマークで最先端の結果を達成できるか？

主な発見

• WMT’16 英語-ルーマニア語では、畳み込みエンコーダーが28.5 BLEUを達成し、最先端の結果と同等の性能を示した。
• WMT’15 英語-ドイツ語では、24.0 BLEUを達成し、最近発表された複数の結果を上回った。
• WMT’14 英語-フランス語では、標準サブセットで非常に深いLSTM設定と同等の性能を達成した。
• WMT’15 英語-ドイツ語では、ビームサイズ5で2.1倍の高速化（1秒あたり231語 vs. BiLSTMの109.9語）を実現した。
• IWSLT’14では、より小さな埋め込みサイズでも、畳み込みモデルはBiLSTMより1.34倍高速であり、優れたキャッシュ効率を示した。
• IWSLT’14では1.35倍の高速化を達成しながら、BLEUスコアを0.7ポイント向上させ、速度と精度の両方を同時に向上させた。