[論文レビュー] Convolutional Sequence to Sequence Learning

Jonas Gehring, Michael Auli+3 more|arXiv (Cornell University)|May 8, 2017

Topic Modeling参考文献 37被引用数 1,901

ひとこと要約

完全畳み込み型のシーケンス対シーケンスモデルにゲート付きリニアユニットと層ごとのアテンションを組み込み、複数の翻訳タスクで最先端BLEUを達成し、RNNベースのライバルよりも学習/推論が高速。

ABSTRACT

The prevalent approach to sequence to sequence learning maps an input sequence to a variable length output sequence via recurrent neural networks. We introduce an architecture based entirely on convolutional neural networks. Compared to recurrent models, computations over all elements can be fully parallelized during training and optimization is easier since the number of non-linearities is fixed and independent of the input length. Our use of gated linear units eases gradient propagation and we equip each decoder layer with a separate attention module. We outperform the accuracy of the deep LSTM setup of Wu et al. (2016) on both WMT'14 English-German and WMT'14 English-French translation at an order of magnitude faster speed, both on GPU and CPU.

研究の動機と目的

• 完全畳み込みエンコード/デコードが大規模翻訳タスクで再帰的シーケンス対シーケンスモデルを上回ることができることを実証する。
• ゲーティングと残差接続を備えた並列化可能な畳み込みアーキテクチャが長距離依存を効果的にモデル化できることを示す。
• 位置エンコーディング、多段アテンション、およびカーネルの深さ/幅が翻訳と要約の性能に与える影響を評価する。
• 強力なRNNベースのベースラインと比較して生成速度とスケーラビリティを評価する。

提案手法

• 完全に畳み込みのエンコーダ-デコーダアーキテクチャを使用する。
• 非線形性としてゲート付きリニアユニット（GLU）を残差接続とともに適用する。
• 入力埋め込みをエンコーダ出力に加え、各デコーダ層で多段アテンションを組み込む。
• 絶対的な入力/出力位置を符號化する位置エンコーディングを用い、デコーダの因果性を維持するためのパディング戦略を適用する。
• トークンレベルの尤度目的関数で訓練し、推論時にビーム探索を用いる。
• WMT’16 English-Romanian、WMT’14 English-German、WMT’14 English-French、およびGigawordでの abstractive summarization を評価する。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込みの seq-to-seq モデルは大規模翻訳ベンチマークで最先端のRNNベースモデルに匹敵するか、あるいは凌駕するか。
• RQ2 すべてのデコーダ層における多層アテンションの導入は翻訳品質と訓練の安定性を改善するか。
• RQ3 位置エンコーディング、カーネル幅/深さ、および訓練戦略が性能とスピードに与える影響はどのようか。
• RQ4 ConvS2SモデルはGPU/CPUでの生成速度の点でGNMT系アーキテクチャと比較してどうか。
• RQ5 このアプローチは要約タスクへ効果的に拡張できるか。

主な発見

• ConvS2SはWuら (2016) の深層LSTM設定をWMT’14 English-Germanで0.5 BLEU、WMT’14 English-Frenchで1.6 BLEU上回る（同等設定）。
• WMT’16 English-RomanianでBPE語彙を用いた場合、ConvS2Sは29.45–30.02 BLEUとなり、前回の勝者の28.1 BLEUを上回る。
• ConvS2SはWMT’16 English-Romanian、WMT’14 English-German、WMT’14 English-Frenchの翻訳タスクで新たな最先端を達成し、GPU/CPU全体でWuら (2016) よりも未知の文をはるかに高速で翻訳する。
• 多段アテンション（全デコーダ層）は最良の困惑度とBLEUをもたらし、アテンションモジュールには小さなオーバーヘッドしかかからない。
• エンコーダ深さを増やすほど正確性は段階的に向上するが、デコーダを深くしても得られる利得は低下する。狭いカーネルをより多くの層で用いる方が、広いカーネルより性能が高いことが多い。
• 8つのConvS2Sモデルのアンサンブルは、WMT’14 English-GermanおよびEnglish-Frenchで以前の強力なアンサンブルを上回る。