[論文レビュー] Double Path Networks for Sequence to Sequence Learning

Kaitao Song, Xu Tan+4 more|arXiv (Cornell University)|Jun 13, 2018

Advanced Neural Network Applications参考文献 21被引用数 9

ひとこと要約

本稿では、序列変換学習（S2S）のためのダブルパスネットワーク（DPN-S2S）を提案する。このモデルは、畳み込みニューラルネットワーク（CNN）による局所的特徴抽出と、自己注意ネットワーク（SAN）によるグローバルな意味的モデリングを、二重パスエンコーダーとデコーダー内のクロス注意ゲーティング機構を介して統合する。モデルは機械翻訳およびテキスト要約タスクで最先端の性能を達成し、CNNのみまたはSANのみのベースラインをそれぞれ0.46–2.96 BLEUおよび0.74–0.99 BLEUの範囲で上回る。

ABSTRACT

Encoder-decoder based Sequence to Sequence learning (S2S) has made remarkable progress in recent years. Different network architectures have been used in the encoder/decoder. Among them, Convolutional Neural Networks (CNN) and Self Attention Networks (SAN) are the prominent ones. The two architectures achieve similar performances but use very different ways to encode and decode context: CNN use convolutional layers to focus on the local connectivity of the sequence, while SAN uses self-attention layers to focus on global semantics. In this work we propose Double Path Networks for Sequence to Sequence learning (DPN-S2S), which leverage the advantages of both models by using double path information fusion. During the encoding step, we develop a double path architecture to maintain the information coming from different paths with convolutional layers and self-attention layers separately. To effectively use the encoded context, we develop a cross attention module with gating and use it to automatically pick up the information needed during the decoding step. By deeply integrating the two paths with cross attention, both types of information are combined and well exploited. Experiments show that our proposed method can significantly improve the performance of sequence to sequence learning over state-of-the-art systems.

研究の動機と目的

• 序列変換学習における局所的およびグローバルな系列依存関係を捉えることのできない単一パスモデルの制限を解消すること。
• モデルの複雑さを増さずにCNNと自己注意メカニズムを統合し、モデリング能力を向上させること。
• エンコーディングおよびデコーディング中にCNNパスとSANパスの別々の表現を維持する二重パスアーキテクチャを設計すること。
• デコーディング中に両パスからの関連情報を動的に選択・統合できるゲーティングを備えたクロス注意メカニズムを開発すること。
• エンコーダーおよびデコーダー部におけるCNNおよびSANパスの有効性を実証的に検証すること。

提案手法

• エンコーダーは二つの並列パスを採用する：一方は畳み込み層を用いて局所的系列結合性を捉え、他方は自己注意層を用いてグローバルな意味的関係をモデル化する。
• エンコーダー内の各パスは独立して入力系列を符号化し、局所的およびグローバルな文脈の別々の表現を保持する。
• デコーダーは、エンコーダー内のCNNおよびSANパスからの特徴を動的に注意して統合するためのクロス注意モジュールと学習可能なゲーティングを備える。
• ゲーティング機構により、デコーダーは各出力トークンの生成に際し、どのパスの表現がより関連性があるかを自動的に重み付けできる。
• 再帰を一切用いないため、標準的なS2S目的関数に基づきエンドツーエンドで学習可能であり、並列処理が効率的に行える。
• アーキテクチャは、機械翻訳（NIST, IWSLT14）およびテキスト要約（Gigaword）ベンチマークで評価されている。

実験結果

リサーチクエスチョン

• RQ1 CNNと自己注意パスを組み合わせることで、単一パスアーキテクチャを上回る序列変換モデリングが可能になるか？
• RQ2 CNNパスとSANパスからの局所的およびグローバル表現は、最終出力にどのように異なる寄与をしているか？
• RQ3 ゲーティング付きクロス注意メカニズムは、デコーディング段階で二重パス表現を効果的に統合できるか？
• RQ4 性能向上は、CNNとSANの相補的性に起因するのか、それともモデル容量の増加に起因するのか？
• RQ5 エンコーダーおよびデコーダーにおける各パスの相対的寄与度は、全体のモデル性能にどのように影響しているか？

主な発見

• NIST中国語-英語翻訳タスクにおいて、DPN-S2SはCNNベースのベースラインを0.46–2.96 BLEU、SANベースのベースラインを0.74–0.99 BLEUの範囲で上回った。
• IWSLT14ドイツ語-英語翻訳および英語Gigawordテキスト要約タスクにおいて、DPN-S2Sは最先端のBLEUおよびROUGEスコアを達成した。
• アブレーションスタディの結果、エンコーダーまたはデコーダーでCNNパスまたはSANパスを削除すると性能が低下し、両パスの必要性が裏付けられた。
• 注意可視化の結果、CNNベースの注意ヘッドはより高いエントロピー（より分散された注意）を示し、SANベースのヘッドはより低いエントロピー（より集中した注意）を示すことが確認され、両者の役割の相違が裏付けられた。
• ケーススタディでは、DPN-S2SがCNNパスからの局所的詳細とSANパスからのグローバルな一貫性を効果的に統合し、単一パスモデルよりも正確な翻訳を生成できた。
• クロス注意ゲーティング機構により、デコーダーが両表現からの最も関連性のあるコンテキストを動的に選択して特徴を統合でき、効果的な特徴統合が実現した。