[논문 리뷰] Fastformer: Additive Attention is All You Need

Chuhan Wu, Fangzhao Wu외 2명|arXiv (Cornell University)|2021. 08. 20.

Topic Modeling참고 문헌 20인용 수 3

한 줄 요약

Fastformer는 전역적 맥락을 효율적으로 모델링하기 위해 덧셈형 어텐션을 사용하는 선형 복잡도 변종 트랜스포머를 제안한다. 이는 이차 자기어텐션을 두 단계 과정인 전역 맥락 인코딩과 토큰별 맥락 상호작용으로 대체하여, 표준 트랜스포머보다 훨씬 빠른 추론 속도를 확보하면서도 장수열에서 최신 성능을 달성한다.

ABSTRACT

Transformer is a powerful model for text understanding. However, it is inefficient due to its quadratic complexity to input sequence length. Although there are many methods on Transformer acceleration, they are still either inefficient on long sequences or not effective enough. In this paper, we propose Fastformer, which is an efficient Transformer model based on additive attention. In Fastformer, instead of modeling the pair-wise interactions between tokens, we first use additive attention mechanism to model global contexts, and then further transform each token representation based on its interaction with global context representations. In this way, Fastformer can achieve effective context modeling with linear complexity. Extensive experiments on five datasets show that Fastformer is much more efficient than many existing Transformer models and can meanwhile achieve comparable or even better long text modeling performance.

연구 동기 및 목표

• 표준 트랜스포머의 장수열 모델링에서 이차 계산 복잡도 문제를 해결하기 위해.
• 장맥락 작업에서 강력한 성능을 유지하면서도 효율적인 어텐션 메커니즘을 개발하기 위해.
• 쌍별 토큰 상호작용을 전역 맥락 모델링 방식으로 대체하여 확장성 향상을 위해.

제안 방법

• 전역 맥락 표현을 모델링하기 위해 표준 자기어텐션을 덧셈형 어텐션 메커니즘으로 대체한다.
• 먼저, 모든 토큰을 대상으로 덧셈형 어텐션을 사용하여 전역 맥락 표현을 계산한다.
• 그런 다음, 각 토큰의 표현은 학습 가능한 변환을 통해 전역 맥락을 참조하여 업데이트된다.
• 완전한 쌍별 어텐션 계산을 피하기 때문에 선형 복잡도를 달성한다.
• 기존 트랜스포머 프레임워크와의 호환성을 유지하면서 표준 목표로 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 덧셈형 어텐션을 사용하여 전역 맥락을 효율적으로 모델링하면서도 시퀀스 모델링 성능을 유지할 수 있는가?
• RQ2 이차 자기어텐션을 두 단계 덧셈형 과정으로 대체할 경우, 장수열에서 성능이 유지되거나 향상되는가?
• RQ3 결과적으로 생성된 모델이 표준 트랜스포머와 비교해 정확도를 희생시키지 않고 선형 복잡도를 달성할 수 있는가?

주요 결과

• Fastformer는 계산에서 선형 복잡도를 달성하여, 표준 트랜스포머에 비해 장수열에서 추론 시간을 크게 단축시킨다.
• 다섯 개의 벤치마크 데이터셋에서 Fastformer는 장문 텍스트 모델링 작업에서 표준 트랜스포머와 동일하거나 뛰어난 성능을 기록한다.
• 정확도를 희생시키지 않으면서도 특히 장수열에서 뛰어난 효율성을 보여준다.
• 덧셈형 어텐션 메커니즘은 전체 자기어텐션의 이차 비용을 피하면서 효과적인 전역 맥락 인코딩을 가능하게 한다.