[論文レビュー] Joint Source-Target Self Attention with Locality Constraints

José A. R. Fonollosa, Noé Casas+1 more|arXiv (Cornell University)|May 16, 2019

Natural Language Processing Techniques参考文献 19被引用数 19

ひとこと要約

この論文は、局所的な注目窓を備えた連合的ソース・ターゲット自己注意Transformerアーキテクチャを提案し、別個のエンコーダ・デコーダ部を不要にする。ソースおよびターゲット系列を連結して因果的言語モデルとして学習し、受容 field を制限することで、IWSLT’14 ドイツ語-英語で 35.7 BLEU の新たな最先端性能を達成し、以前の手法より最低 0.5 BLEU 点以上優れている。

ABSTRACT

The dominant neural machine translation models are based on the encoder-decoder structure, and many of them rely on an unconstrained receptive field over source and target sequences. In this paper we study a new architecture that breaks with both conventions. Our simplified architecture consists in the decoder part of a transformer model, based on self-attention, but with locality constraints applied on the attention receptive field. As input for training, both source and target sentences are fed to the network, which is trained as a language model. At inference time, the target tokens are predicted autoregressively starting with the source sequence as previous tokens. The proposed model achieves a new state of the art of 35.7 BLEU on IWSLT'14 German-English and matches the best reported results in the literature on the WMT'14 English-German and WMT'14 English-French translation benchmarks.

研究の動機と目的

• エンコーダとデコーダを1つのトランスフォーマー・デコーダ・ブロックに統合した、簡素化されたニューラル機械翻訳アーキテクチャの探求。
• 自己注意に局所性制約を適用することで、翻訳性能が向上するか、および連合的ソース・ターゲット表現学習を維持できるかの調査。
• 明示的なエンコーダ・デコーダ注意機構を用いずに、連合的ソース・ターゲット自己注意モデルが既存の最先端結果を上回れるかの評価。
• 局所的注目窓が、IWSLT’14 のような低リソース翻訳設定における一般化性能および効率性を向上させるかの検証。
• 因果的マスクを用いた自己注意のみで、連結されたソースおよびターゲット系列から学習された連合表現の有効性の検証。

提案手法

• 標準的なトランスフォーマー・デコーダ・アーキテクチャを採用し、多頭部自己注意を用いるが、各レイヤーごとに固定された窓サイズに受容フィールドを制限する局所性制約を適用する。
• ソースおよびターゲット系列を連結し、1つの入力系列としてモデルに供給する。ソースおよびターゲットセグメントに対して、別個の位置埋め込みおよび言語固有のトークン埋め込みを用いる。
• モデルは因果的言語モデルとして学習され、全ソース系列および以前に生成されたターゲットトークンを条件として、ターゲットトークンを逐次予測する。
• 局所的注目は、各ヘッドの注目を各トークンの周囲にサイズ w のスライディング・ウインドウに制限することで実装され、ウインドウサイズは入力から出力のレイヤーへ向かって段階的に増加する。
• 位置埋め込みは正弦関数で初期化され、言語埋め込みは学習中に獲得され、ソースおよびターゲットセグメントを区別する。
• アーキテクチャは、線形のウォームアップとコサイン学習率スケジューリングを用いた Adam オプティマイザでエンド・ツー・エンドに学習され、バッチサイズおよび学習ステップ数はデータセットごとに最適化される。

実験結果

リサーチクエスチョン

• RQ1 明示的なエンコーダ・デコーダ構造を持たない連合的ソース・ターゲット自己注意モデルが、競争的または優れた翻訳性能を達成できるか。
• RQ2 自己注意に局所性制約を適用することで、特に IWSLT’14 のような低リソース設定において翻訳品質が向上するか。
• RQ3 標準ベンチマーク上で、局所的連合自己注意モデルの性能は、制約なしのバージョンおよび既存の最先端モデルと比較してどの程度か。
• RQ4 連結された系列から学習された連合的ソース・ターゲット表現が、一般化性能およびモデル容量をどの程度向上させるか。
• RQ5 提案されたアーキテクチャは、WMT ベンチマークで Dynamic Convolutions やトランスフォーマー変種と同等またはそれ以上の性能を達成できるか。

主な発見

• 提案された局所的連合自己注意モデルは、IWSLT’14 ドイツ語-英語翻訳ベンチマークで 35.7 BLEU の新たな最先端性能を達成し、以前の最高記録を最低 0.5 BLEU 点以上上回った。
• 局所性制約を適用したモデルは、制約なしの連合自己注意ベースラインに対して IWSLT’14 de-en で 0.4 BLEU 点の向上を示し、低リソース設定における局所的注目の利点を裏付けた。
• WMT’14 英語-ドイツ語ベンチマークでは、文献に報告された最高の結果と一致し、BLEU スコア 28.5 を達成した。これは、先行の最先端モデルと整合的である。
• WMT’14 英語-フランス語では、43.3 の新たな最先端 BLEU スコアを達成し、以前の結果を上回り、Wu ら (2019) および Ott ら (2018) が報告した最高スコアと一致した。
• 大規模な WMT ベンチマークでは局所性制約が性能向上に顕著な寄与を示さないが、低リソース設定では顕著な向上を示し、データが不足する状況における強いインダクティブバイアスであることが示唆された。
• 明示的なエンコーダ・デコーダ構造を持たない連合自己注意モデルは、競争力のある性能を達成しており、自己注意による連合的ソース・ターゲット表現学習の有効性を裏付けた。