[논문 리뷰] Tensorized Self-Attention: Efficiently Modeling Pairwise and Global Dependencies Together

Tao Shen, Tianyi Zhou외 3명|arXiv (Cornell University)|2018. 05. 02.

Topic Modeling참고 문헌 54인용 수 5

한 줄 요약

이 논문은 텐서라이즈된 다중 헤드 프레임워크 내에서 도트 곱 및 추가적 어텐션을 조합함으로써 쌍별(토큰 간) 및 전역(소스-토큰) 의존성을 효율적으로 모델링하는 새로운 어텐션 메커니즘인 다중 마스크 텐서라이즈드 자기어텐션(MTSA)을 제안한다. MTSA는 모델 크기의 증가 없이 표준 자기어텐션 및 다중 헤드 어텐션을 능가하는 정확도를 달성하면서도, CNN과 유사한 메모리 및 계산 효율성을 유지하며 9개의 NLP 벤치마크에서 최고 성능 또는 경쟁 가능한 성능을 기록한다.

ABSTRACT

Neural networks equipped with self-attention have parallelizable computation, light-weight structure, and the ability to capture both long-range and local dependencies. Further, their expressive power and performance can be boosted by using a vector to measure pairwise dependency, but this requires to expand the alignment matrix to a tensor, which results in memory and computation bottlenecks. In this paper, we propose a novel attention mechanism called "Multi-mask Tensorized Self-Attention" (MTSA), which is as fast and as memory-efficient as a CNN, but significantly outperforms previous CNN-/RNN-/attention-based models. MTSA 1) captures both pairwise (token2token) and global (source2token) dependencies by a novel compatibility function composed of dot-product and additive attentions, 2) uses a tensor to represent the feature-wise alignment scores for better expressive power but only requires parallelizable matrix multiplications, and 3) combines multi-head with multi-dimensional attentions, and applies a distinct positional mask to each head (subspace), so the memory and computation can be distributed to multiple heads, each with sequential information encoded independently. The experiments show that a CNN/RNN-free model based on MTSA achieves state-of-the-art or competitive performance on nine NLP benchmarks with compelling memory- and time-efficiency.

연구 동기 및 목표

• 전체 의존성을 모델링하는 다차원 자기어텐션 메커니즘의 비효율성과 높은 메모리 비용 문제를 해결하기 위해.
• 토큰 간 및 소스-토큰 어텐션의 장점을 융합하여 계산 효율성을 훼손하지 않은 채 더 풍부한 문맥 모델링을 가능하게 하기 위해.
• 다양한 위치 마스크를 가진 다중 헤드에 걸쳐 텐서라이즈된 어텐션을 분산시켜 장수열에 대한 확장 가능하고 병렬 처리 가능한 계산을 가능하게 하기 위해.
• 모델 크기의 증가 없이도 CNN과 유사한 낮은 메모리 및 시간 복잡도를 유지하면서도 다양한 NLP 작업에서 최고 성능을 달성하기 위해.

제안 방법

• MTSA는 쌍별 토큰 의존성에 대해 도트 곱 어텐션을, 전역적인 특징 기반 의존성에 대해 추가적 어텐션을 사용하는 하이브리드 호환성 함수를 사용한다.
• 표현력을 높이기 위해 정렬 점수를 3차원 텐서로 표현하지만, 고비용의 텐서 연산 대신 효율적인 행렬 곱셈을 통해 계산한다.
• 각 헤드마다 독립적인 위치 마스크를 사용하는 다중 헤드 어텐션을 적용하여 병렬 계산이 가능하고 순차적 구조를 더 잘 모델링할 수 있도록 한다.
• 각 어텐션 헤드는 특징 공간의 별개의 부분공간을 처리하여 메모리 및 계산 부담을 헤드 간에 분산시킨다.
• 모델은 특징 수준에서 다차원 어텐션을 통합하여 각 특징이 자체의 전역 중요도 점수를 가질 수 있도록 하여 표현 능력을 향상시킨다.
• 프레임워크는 표준 다중 헤드 자기어텐션을 대체할 수 있도록 플러그 앤 플레이 설계되어 있어, 트랜스포머와 같은 모델에 아키텍처의 대대적인 수정 없이 통합할 수 있다.

실험 결과

연구 질문

• RQ1 모델링하는 데에 정규화된 메모리 및 계산 비용이 발생하는 다차원 자기어텐션 메커니즘의 비효율성을 해결하면서도, 쌍별 및 전역 의존성을 효율적으로 모델링할 수 있는가?
• RQ2 텐서라이즈된 다차원 어텐션을 다중 헤드 및 위치 마스크와 융합했을 때 모델의 성능과 효율성에 어떤 영향을 미치는가?
• RQ3 MTSA 기반의 CNN/RNN 없는 모델이 다양한 NLP 작업에서 최고 성능을 달성하면서도 낮은 메모리 및 시간 복잡도를 유지할 수 있는가?
• RQ4 각 헤드마다 별개의 위치 마스크를 사용할 경우 순차적 및 상대적 위치 정보 모델링에 어떤 개선이 이루어지는가?

주요 결과

• SNLI 자연어 추론 벤치마크에서 MTSA는 테스트 정확도 95.3%를 기록하여 표준 모델 및 다중 헤드 어텐션, CNN을 포함한 모든 베이스라인을 능가하는 최고 성능을 달성했다.
• 5개의 문장 분류 작업에서 MTSA는 CR, MPQA, TREC, SST-5에서 가장 높은 정확도를 기록했으며, 다음으로 우수한 모델보다 최대 0.5% 향상된 성능을 보였다.
• WMT 2014 영어-독어 번역 작업에서 MTSA는 두 가지 학습 설정 모두에서 다중 헤드 자기어텐션을 뛰어넘는 유의미한 성능 향상을 보였으며, p-값은 각각 0.001 및 0.080이었다.
• MTSA는 모델 크기의 유의미한 증가 없이도 CNN과 유사한 메모리 및 계산 비용을 유지했으며(61.58M 파라미터 대비 트랜스포머의 61.38M 파라미터), 성능 향상이 뚜렷했다.
• 감성 분석, 의미 롤 레이블링, 질문 유형 분류 등 다양한 NLP 작업에서 일관된 성능 향상을 보였으며, 경쟁 가능한 추론 속도와 낮은 메모리 부담을 유지했다.