[논문 리뷰] Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling

Tao Shen, Tianyi Zhou외 3명|arXiv (Cornell University)|2018. 04. 03.

Topic Modeling참고 문헌 59인용 수 77

한 줄 요약

Bi-BloSAN은 intra-block 및 inter-block self-attention을 사용하는 RNN/CNN 없는 시퀀스 인코더를 도입하여 SAN과 유사한 성능을 메모리 효율은 RNN과 비슷하게 달성하고, 아홉 가지 NLP 태스크에서 검증되었습니다.

ABSTRACT

Recurrent neural networks (RNN), convolutional neural networks (CNN) and self-attention networks (SAN) are commonly used to produce context-aware representations. RNN can capture long-range dependency but is hard to parallelize and not time-efficient. CNN focuses on local dependency but does not perform well on some tasks. SAN can model both such dependencies via highly parallelizable computation, but memory requirement grows rapidly in line with sequence length. In this paper, we propose a model, called "bi-directional block self-attention network (Bi-BloSAN)", for RNN/CNN-free sequence encoding. It requires as little memory as RNN but with all the merits of SAN. Bi-BloSAN splits the entire sequence into blocks, and applies an intra-block SAN to each block for modeling local context, then applies an inter-block SAN to the outputs for all blocks to capture long-range dependency. Thus, each SAN only needs to process a short sequence, and only a small amount of memory is required. Additionally, we use feature-level attention to handle the variation of contexts around the same word, and use forward/backward masks to encode temporal order information. On nine benchmark datasets for different NLP tasks, Bi-BloSAN achieves or improves upon state-of-the-art accuracy, and shows better efficiency-memory trade-off than existing RNN/CNN/SAN.

연구 동기 및 목표

• RNN과 유사한 낮은 메모리 비용으로 셀프 어텐션의 장점을 결합한 시퀀스 인코더를 제안한다.
• 로컬 내부 블록(intra-block) 및 글로벌 블록 간 의존성을 포착하기 위한 마스킹된 블록 셀프 어텐션(mBloSA)을 제안한다.
• 통합된 시퀀스 인코딩을 위한 양방향 블록 셀프 어텐션 네트워크 Bi-BloSAN을 개발한다.
• NLP 태스크 전반에서 효율-메모리 트레이드오프와 경쟁력 있는 정확도를 입증한다.
• 로컬/글로벌 컨텍스트 및 마스킹 메커니즘의 기여를 정량화하는 제거 분석(ablation)을 제공한다.

제안 방법

• 입력 시퀀스를 등길이의 블록으로 분할하고 각 블록 내부에 마스킹된 셀프 어텐션을 적용한다(intra-block).
• 블록 내부 출력에 대한 source2token 셀프 어텐션을 통해 블록 수준 표현을 계산한다(인터블록 단계).
• 블록 간에 마스킹된 셀프 어텐션을 적용하여 장기 의존성을 모델링한다(인터블록 SAN).
• 게이팅 메커니즘을 통해 로컬 및 글로벌 블록 컨텍스트 출력을 원래 입력과 융합한다.
• Bi-BloSAN은 순방향 및 역방향 마스크를 가진 두 개의 mBloSA 모듈을 쌓아 시간적 순서를 인코딩한다(Bi-BloSA).
• 각 SAN이 짧은 시퀀스만 처리하도록 보장함으로써 메모리를 줄이고 전체 시퀀스 SAN 대비 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자체 어텐션 기반 인코더가 RNN과 유사한 메모리 발자국으로 작동하면서 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 두 계층의 블록 단위 주의(attention)( intra-block + inter-block )가 로컬 및 글로벌 의존성을 효과적으로 포착하는가?
• RQ3 순방향/역방향 마스킹 및 특성 수준 어텐션이 시간적 순서화 및 맥락 민감도에 어떤 영향을 미치는가?
• RQ4 다양한 NLP 태스크에서 Bi-BloSAN의 실험적 효율성 및 메모리 트레이드오프는 RNN/CNN/SAN 기본 모델과 비교하여 어떠한가?

주요 결과

모델	|θ|	학습 정확도	테스트 정확도
Bi-LSTM (Graves et al., 2013)	2.9m	90.4	85.0
Bi-GRU (Chung et al., 2014)	2.5m	91.9	84.9
Bi-SRU (Lei & Zhang, 2017)	2.0m	88.4	84.8
Multi-CNN (Kim, 2014)	1.4m	89.3	83.2
Hrchy-CNN (Gehring et al., 2017)	3.4m	91.3	83.9
Multi-head (Vaswani et al., 2017)	2.0m	89.6	84.2
DiSAN (Shen et al., 2017)	2.3m	91.1	85.6
Bi-BloSAN (480D)	2.8m	91.7	85.7

• Bi-BloSAN은 아홉 개의 NLP 데이터셋에서 최첨단 또는 경쟁력 있는 정확도를 달성하고, 우호적인 효율-메모리 트레이드오프를 보인다.
• SNLI에서 Bi-BloSAN(480D)는 Test Accu 85.7%를 달성하고 여러 베이스라인보다 학습 속도가 빠르며 메모리는 RNN과 유사하다.
• Bi-BloSAN은 정확도에서 여러 RNN/CNN/SAN 기본 모델을 능가하고 DiSAN보다 더 메모리 효율적이다.
• 제거 분석은 로컬(intra-block) 및 글로벌(inter-block) 컨텍스트가 성능에 크게 기여함을, 그리고 마스킹인 mBloSA가 테스트에서 정확도를 최대 2.6퍼센트 포인트 향상시킴을 보여준다.
• Source2token 셀프 어텐션은 일반 어텐션에 비해 성능을 크게 향상시키며(SNLI에서 약 +3.3%) 더 높다.
• Bi-BloSAN은 SQuAD-modified 독해 및 SICK 의미 관련성에서 강력한 결과를 보여 주어 태스크 간 일반화가 견고함을 나타낸다.