[논문 리뷰] FMMformer: Efficient and Flexible Transformer via Decomposed Near-field and Far-field Attention

Tan M. Nguyen, Vai Suliafu외 3명|arXiv (Cornell University)|2021. 12. 06.

Particle accelerators and beam dynamics인용 수 1

한 줄 요약

FMMformer는 자기주의를 근접장(밴드형 행렬)과 원거리장(저랭크 행렬) 성분으로 분해하는 새로운 트랜스포머 아키텍처를 제안한다. 이로 인해 표준 트랜스포머의 이차 복잡도와는 달리 계산 및 메모리 복잡도가 선형으로 감소하며, Long Range Arena 벤치마크에서 표준 모델의 58.70% 평균 정확도 대비 60.74%의 평균 정확도를 달성한다.

ABSTRACT

We propose FMMformers, a class of efficient and flexible transformers inspired by the celebrated fast multipole method (FMM) for accelerating interacting particle simulation. FMM decomposes particle-particle interaction into near-field and far-field components and then performs direct and coarse-grained computation, respectively. Similarly, FMMformers decompose the attention into near-field and far-field attention, modeling the near-field attention by a banded matrix and the far-field attention by a low-rank matrix. Computing the attention matrix for FMMformers requires linear complexity in computational time and memory footprint with respect to the sequence length. In contrast, standard transformers suffer from quadratic complexity. We analyze and validate the advantage of FMMformers over the standard transformer on the Long Range Arena and language modeling benchmarks. FMMformers can even outperform the standard transformer in terms of accuracy by a significant margin. For instance, FMMformers achieve an average classification accuracy of $60.74\%$ over the five Long Range Arena tasks, which is significantly better than the standard transformer's average accuracy of $58.70\%$.

연구 동기 및 목표

• 장거리 시퀀스 모델링에서 표준 트랜스포머의 이차 계산 및 메모리 복잡도 문제를 해결하기 위해.
• 계산 물리학의 빠른 다체법(Fast Multipole Method, FMM)에서 영감을 얻어 더 효율적이고 유연한 주의 메커니즘을 개발하기 위해.
• 자기주의를 근접장과 원거리장 성분으로 분해하여 확장 가능한 시퀀스 모델링을 가능하게 하기 위해.
• 계산 및 메모리 복잡도를 선형으로 유지하면서도 장거리 작업에서 정확도를 유지하거나 향상시키기 위해.
• Long Range Arena 및 언어 모델링 벤치마크에서 제안된 아키텍처의 우수성을 검증하기 위해.

제안 방법

• FMMformer는 자기주의 메커니즘을 근접장과 원거리장 성분으로 분해하며, 이는 FMM의 입자 상호작용 처리 방식과 유사하다.
• 근접장 주의는 밴드형 행렬을 사용하여 계산을 줄이고 국소적 의존성을 캡처한다.
• 원거리장 주의는 저랭크 행렬을 사용하여 효율적인 거시적 계산을 가능하게 한다.
• 이 분해 덕분에 전체 주의 계산이 시퀀스 길이에 따라 선형으로 확장되어, 복잡도가 O(n²)에서 O(n)으로 감소한다.
• 수학적 원리를 FMM에서 유도하여 주의 계산을 가속화하면서도 모델 용량을 손상시키지 않는다.
• 유연성을 유지하기 위해 효율성과 정확도 간의 트레이드오���을 위해 조정 가능한 밴드폭과 랭크를 허용한다.

실험 결과

연구 질문

• RQ1 어떤 트랜스포머 아키텍처가 장거리 작업에서 성능을 유지하거나 향상시키면서도 계산 및 메모리 복잡도를 선형으로 유지할 수 있는가?
• RQ2 근접장과 원거리장 성분으로 주의를 분해하는 것은 모델 정확도와 효율성에 어떤 영향을 미치는가?
• RQ3 FMM 기반 분해 방식은 장거리 시퀀스 모델링에서 표준 자기주의보다 얼마나 뛰어나게 작용하는가?
• RQ4 조정 가능한 밴드폭과 저랭크 근사의 영향은 모델 성능과 확장성에 어떤 영향을 미치는가?
• RQ5 FMMformer는 Long Range Arena 및 언어 모델링 작업을 포함한 다양한 벤치마크에서 강력한 성능을 유지하는가?

주요 결과

• FMMformer는 Long Range Arena의 다섯 가지 작업에서 평균 60.74%의 분류 정확도를 달성하여 표준 트랜스포머의 평균 58.70%보다 뚜렷이 높은 성능을 보였다.
• 모델은 계산 및 메모리 복잡도를 O(n²)에서 O(n)으로 감소시켜 장수열 처리를 효율적으로 가능하게 했다.
• 매개변수 수가 감소한 상태에서도 높은 성능을 유지하여 더 뛰어난 매개변수 효율성을 보였다.
• 밴드형 및 저랭크 성분으로의 분해 덕분에 정확도 손실 없이 확장 가능한 주의 계산이 가능했다.
• 장거리 및 표준 언어 모델링 벤치마크 양쪽에서 표준 트랜스포머보다 일관된 성능 향상을 보였다.
• 결과적으로 FMM 기반 분해 방식이 표준 자기주의의 확장 가능한 정확도 있는 대안으로 효과적임을 입증했다.