[論文レビュー] Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning

Xuebo Liu, Longyue Wang+4 more|arXiv (Cornell University)|Dec 29, 2020

Topic Modeling参考文献 62被引用数 11

ひとこと要約

この論文では、sequence-to-sequenceモデルにおけるエンコーダー埋め込み層をデコーダーのソフトマックス層に直接接続する新しい手法SurfaceFusionを提案する。これにより、二言語埋め込みの学習が向上し、性能が顕著に向上する。実験の結果、機械翻訳、テキスト要約、文法的誤り訂正の全分野において、従来のエンコーダー層融合法を上回り、WMT16ルーマニア語-英語およびWMT14英語-フランス語タスクで最先端の結果を達成した。

ABSTRACT

Encoder layer fusion (EncoderFusion) is a technique to fuse all the encoder layers (instead of the uppermost layer) for sequence-to-sequence (Seq2Seq) models, which has proven effective on various NLP tasks. However, it is still not entirely clear why and when EncoderFusion should work. In this paper, our main contribution is to take a step further in understanding EncoderFusion. Many of previous studies believe that the success of EncoderFusion comes from exploiting surface and syntactic information embedded in lower encoder layers. Unlike them, we find that the encoder embedding layer is more important than other intermediate encoder layers. In addition, the uppermost decoder layer consistently pays more attention to the encoder embedding layer across NLP tasks. Based on this observation, we propose a simple fusion method, SurfaceFusion, by fusing only the encoder embedding layer for the softmax layer. Experimental results show that SurfaceFusion outperforms EncoderFusion on several NLP benchmarks, including machine translation, text summarization, and grammatical error correction. It obtains the state-of-the-art performance on WMT16 Romanian-English and WMT14 English-French translation tasks. Extensive analyses reveal that SurfaceFusion learns more expressive bilingual word embeddings by building a closer relationship between relevant source and target embedding. Source code is freely available at https://github.com/SunbowLiu/SurfaceFusion.

研究の動機と目的

• エンコーダー層融合（EncoderFusion）がsequence-to-sequenceモデルを改善する理由について、矛盾する報告がなされている理由を解明すること。
• 特にエンコーダー埋め込み層を含む個々のエンコーダー層がモデル性能向上に果たす役割を調査すること。
• 標準モデルが意味的および表層的特徴を効果的に捉えられない「ソース表現ボトルネック」問題に対処すること。
• 最も情報量の多いエンコーダー層に焦点を当てることで、既存のEncoderFusion手法のより単純で効果的な代替手法を提案すること。
• エンコーダー埋め込み層の直接統合が、表現力のある二言語埋め込みの学習を向上させることを実証すること。

提案手法

• 各エンコーダー層がデコーダーの注目に与える寄与度を定量的に評価するための細分化された層注目メカニズムを導入する。
• 中間層を経由せずに、エンコーダー埋め込み層とデコーダーのソフトマックス層のみを統合する、SurfaceFusionという手法を提案する。
• ソースとターゲットの埋め込み間の経路を短縮することで、直接的な相互作用を強化し、二言語埋め込み表現の整合性を向上させる。
• デコーディング中にエンコーダー埋め込み層に注目できる学習可能な表面注目モジュールを用い、メインモデルと同時に学習可能にする。
• アブレーションスタディおよび特異値分解（SVD）分析を実施し、ヴァニラモデルとSurfaceFusionモデルの表現能力および埋め込み品質を比較する。
• 標準ベンチマークを用いて、機械翻訳、テキスト要約、文法的誤り訂正を含む多様なNLPタスクで手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 なぜエンコーダー層融合がsequence-to-sequenceモデルを改善するのか、そしてどのエンコーダー層がその改善に最も寄与しているのか。
• RQ2 エンコーダー埋め込み層は、他の中間層と比較して注目度および表現能力においてどのように異なるのか。
• RQ3 複数の中間層を統合するのではなく、エンコーダー埋め込み層のみを統合することで、より高い性能が得られるのか。
• RQ4 エンコーダー埋め込み層を直接統合することで、sequence-to-sequenceモデルにおける二言語埋め込みの質が向上するのか。
• RQ5 ソース表現ボトルネックがモデル性能に与える影響は何か、そしてどのように緩和できるか。

主な発見

• エンコーダー埋め込み層は、他の中間エンコーダー層よりも、エンコーダー層融合に成功する上でより重要であることが判明した。これは、以前の仮定（下位層が最も情報量が多い）とは矛盾する。
• 複数のNLPタスクにわたり、上位のデコーダー層が一貫してエンコーダー埋め込み層に多く注目していることが示され、表現学習におけるその中心的役割が裏付けられた。
• エンコーダー埋め込み層をマスクすると性能が著しく低下し、一見自然だが忠実でない（ hallucinatory ）予測が生じる。これにより、その重要性が確認された。
• SurfaceFusionは、WMT16ルーマニア語-英語およびWMT14英語-フランス語翻訳ベンチマークを含む、全評価タスクでヴァニラSeq2Seqモデルおよび標準的なEncoderFusionを上回った。
• 特異値解析の結果、SurfaceFusionでは単語埋め込みにおける特異値の減衰が遅くなり、より一様に分布し、表現力に富んだ表現が得られることを示した。
• SurfaceFusionは、ソースとターゲット表現間の経路を短縮することで、二言語埋め込みの整合性を向上させ、多言語間転送およびモデルの忠実性を改善した。