[논문 리뷰] MUSE: Parallel Multi-Scale Attention for Sequence to Sequence Learning

Guangxiang Zhao, Xu Sun외 3명|arXiv (Cornell University)|2019. 11. 17.

Topic Modeling참고 문헌 27인용 수 41

한 줄 요약

MUSE는 자기-주의(Self-attention), 깊이별 컨볼루션(Depthwise convolution), 및 포인트와이즈 피드포워드 네트워크를 병렬로 결합한 다중 스케일 주의를 도입하여 시퀀스-투-시퀀스(seq2seq) 작업에서 글로벌, 로컬 및 토큰 수준 컨텍스트를 더 잘 모델링하고, 주요 번역 데이터셋에서 BLEU가 최첨단에 도달합니다.

ABSTRACT

In sequence to sequence learning, the self-attention mechanism proves to be highly effective, and achieves significant improvements in many tasks. However, the self-attention mechanism is not without its own flaws. Although self-attention can model extremely long dependencies, the attention in deep layers tends to overconcentrate on a single token, leading to insufficient use of local information and difficultly in representing long sequences. In this work, we explore parallel multi-scale representation learning on sequence data, striving to capture both long-range and short-range language structures. To this end, we propose the Parallel MUlti-Scale attEntion (MUSE) and MUSE-simple. MUSE-simple contains the basic idea of parallel multi-scale sequence representation learning, and it encodes the sequence in parallel, in terms of different scales with the help from self-attention, and pointwise transformation. MUSE builds on MUSE-simple and explores combining convolution and self-attention for learning sequence representations from more different scales. We focus on machine translation and the proposed approach achieves substantial performance improvements over Transformer, especially on long sequences. More importantly, we find that although conceptually simple, its success in practice requires intricate considerations, and the multi-scale attention must build on unified semantic space. Under common setting, the proposed model achieves substantial performance and outperforms all previous models on three main machine translation tasks. In addition, MUSE has potential for accelerating inference due to its parallelism. Code will be available at https://github.com/lancopku/MUSE

연구 동기 및 목표

• Transformer 기반 seq2seq 작업에서 순수 자기 주의만으로는 긴 시퀀스 모델링이 더 필요하다는 점을 동기 부여한다.
• 글로벌(self-attention), 로컬(convolution), 및 토큰 수준(pointwise) 표현을 융합하는 병렬 다중 스케일 아키텍처(MUSE)를 제안한다.
• 주요 번역 벤치마크에서 state-of-the-art BLEU를 실증적으로 보여주고, 효과적인 다중 스케일 융합을 가능하게 하는 요인을 분석한다.
• 병렬화를 통해 계산 효율성을 Demonstrate하고 커널 선택 및 공유된 프로젝션에 대한 통찰을 제공한다.

제안 방법

• MUSE를 N개의 스택된 MUSE 모듈과 잔여 연결(residual connections)을 갖는 인코더/디코더로 정의한다.
• 각 MUSE 모듈 내에서 Attention(X), DepthConv(X), 및 Pointwise(X)를 병렬로 계산하고 X_i = X_{i-1} + Attention(X_{i-1}) + Conv(X_{i-1}) + Pointwise(X_{i-1})로 융합한다.
• 다수의 커널 크기에서 동적 커널 선택과 self-attention과 입력 투영을 공유하는 Depth-wise separable convolution을 사용한다(V1 = V2 = V W^V).
• 병렬 다중 스케일 설계의 효과를 고립시키기 위해 Convolution 없는 MUSE-simple를 제공한다.
• 대규모 WMT 데이터셋에서 MUSE-base/Large, 작은 IWSLT 데이터셋에서 MUSE-base를 표준 NMT 평가 설정으로 학습시킨다.

실험 결과

연구 질문

• RQ1 병렬 다중 스케일 표현이 순수 자기 주의나 순수 컨볼루션 모델에 비해 seq2seq 성능을 향상시킬 수 있는가?
• RQ2 self-attention과 convolution 간 프로젝션 공유가 다중 스케일 모듈 학습에 도움이 되는가?
• RQ3 동적 커널 선택이 고정된 대/소 커널보다 긴 시퀀스에서 성능에 어떤 영향을 미치는가?
• RQ4 Transformer에 비해 MUSE 모듈을 병렬화했을 때 실제 추론 속도 향상은 어느 정도인가?
• RQ5 대규모와 소규모 번역 데이터셋에서 혜택이 일반화되는가?

주요 결과

모델	En-De BLEU	En-Fr BLEU
ConvSeq2seq	25.2	40.5
SliceNet	26.1	-
Transformer	28.4	41.0
Weighted Transformer	28.9	41.4
Layer-wise Coordination	29.1	-
Transformer (relative position)	29.2	41.5
Transformer (Ott et al. 2018)	29.3	43.2
Evolved Transformer	29.8	41.3
DynamicConv	29.7	43.2
Local Joint Self-attention	29.7	43.3
MUSE-simple	29.8	43.2
MUSE	29.9	43.5

• MUSE-large는 En-De에서 29.9 BLEU, En-Fr에서 43.5 BLEU를 달성하며 동급 규모 및 데이터의 기존 모델을 능가한다.
• MUSE-simple도 이미 강력한 결과를 나타내며 컨볼루션 없이도 최첨단에 근접할 수 있고 DepthConv를 추가하면 더 나아진다.
• 자기 주의와 컨볼루션 간의 공유 투영은 성능에 큰 이점을 제공하며(개별 프로젝션 대비 +1.4 BLEU) 성능에 크게 기여한다.
• 동적으로 선택된 커널은 고정 대/소 커널보다 성능이 우수하며, 평가된 작업에서 최상의 구성은 BLEU 점수에서 최상위를 달성한다.
• 유사한 매개변수 수에서 Transformer에 비해 MUSE의 추론 속도 향상이 약 31%로 관찰되었다.