[논문 리뷰] Fast Transformers with Clustered Attention

Apoorv Vyas, Angelos Katharopoulos외 1명|arXiv (Cornell University)|2020. 07. 09.

Speech Recognition and Synthesis참고 문헌 28인용 수 7

한 줄 요약

이 논문은 자기주의 어텐션의 선형 복잡도 근사인 클러스터드 어텐션을 제안한다. 이는 쿼리를 클러스터로 그룹화하고, 어텐션을 클러스터 중심점에 대해서만 계산함으로써 계산 비용을 크게 줄인다. 이 방법은 자동 음성 인식에서 최신 기술 성능을 달성하며, GLUE 및 SQuAD 벤치마크에서 성능 저하 없이 전체 BERT 모델을 25개의 클러스터로 근사할 수 있다.

ABSTRACT

Transformers have been proven a successful model for a variety of tasks in sequence modeling. However, computing the attention matrix, which is their key component, has quadratic complexity with respect to the sequence length, thus making them prohibitively expensive for large sequences. To address this, we propose clustered attention, which instead of computing the attention for every query, groups queries into clusters and computes attention just for the centroids. To further improve this approximation, we use the computed clusters to identify the keys with the highest attention per query and compute the exact key/query dot products. This results in a model with linear complexity with respect to the sequence length for a fixed number of clusters. We evaluate our approach on two automatic speech recognition datasets and show that our model consistently outperforms vanilla transformers for a given computational budget. Finally, we demonstrate that our model can approximate arbitrarily complex attention distributions with a minimal number of clusters by approximating a pretrained BERT model on GLUE and SQuAD benchmarks with only 25 clusters and no loss in performance.

연구 동기 및 목표

• 트랜스포머에서 자기주의 어텐션의 제곱형 계산 복잡도 문제를 해결하여 장수열에서의 활용을 제한하는 문제를 해결한다.
• 훈련 및 추론 시간을 극적으로 줄이면서도 높은 모델 성능을 유지하는 방법을 개발한다.
• BERT와 같은 사전 훈련된 모델을 효율적으로 근사하여 정확도 저하를 최소화한다.
• 실제 자연어 처리 작업에서 나타나는 복잡하고 희박한 어텐션 패턴을 처리할 수 있음을 보여준다.
• 효율적인 확장성을 확보하여 훈련 시간과 이산화탄소 배출량을 최대 50%까지 감소시킬 수 있음을 보여준다.

제안 방법

• 쿼리를 K-평균과 국소성에 민감한 해싱을 사용하여 클러스터로 그룹화하여 어텐션 계산 횟수를 줄인다.
• 어텐션은 클러스터 중심점에 대해 한 번만 계산되며, 내적 연산 횟수가 극적으로 감소한다.
• 정확도 향상을 위해 각 쿼리-클러스터에 대해 가장 높은 어텐션 점수를 가진 키들에 대해 정확한 내적 연산을 수행한다.
• 고정된 클러스터 수에 대해 시퀀스 길이에 대해 선형 복잡도를 유지한다.
• 이 방법은 훈련 및 추론 모두에 적용 가능하며, 사전 훈련된 모델에서 전체 어텐션 메커니즘을 정제하는 데도 사용할 수 있다.
• 완전한 자기주의 어텐션에 대한 근사 오차를 분석하기 위해 이론적 경계를 도출한다.

실험 결과

연구 질문

• RQ1 클러스터드 어텐션 메커니즘이 시퀀스 모델링 작업에서 성능을 유지하면서도 선형 복잡도를 달성할 수 있는가?
• RQ2 클러스터드 어텐션은 사전 훈련된 BERT 모델에서 발견되는 복잡한 어텐션 분포를 얼마나 잘 근사할 수 있는가?
• RQ3 기존 트랜스포머와 동일한 계산 예산에서 성능을 유지하는가?
• RQ4 정확도 저하 없이 훈련 시간과 에너지 소비를 줄일 수 있는가?
• RQ5 다음 작업에서 전체 어텐션을 거의 완벽하게 근사하기 위해 필요한 최소 클러스터 수는 얼마인가?

주요 결과

• Switchboard ASR 데이터셋에서, i-clustered 어텐션은 약 50초의 전방 전파 계산 예산에서 전체 어텐션보다 WER이 2个百分点 이상 낮았다.
• 12개의 레이어를 사용할 때, i-clustered는 에포크당 훈련 시간을 48% 감소시켰다 (1.91시간 대비 3.84시간)이며, 총 수렴 시간도 44% 감소시켰다 (132.13시간 대비 228.05시간).
• GLUE 및 SQuAD 벤치마크에서, i-clustered는 오직 25개의 클러스터만으로도 모든 작업에서 전체 BERT 성능을 달성했으며, SQuAD에서는 약간 열등했다 (F1: 0.876 대비 0.904).
• 25개의 클러스터를 사용한 클러스터드 어텐션은 GLUE 작업에서 거의 성능 저하 없이 근사했으며, SQuAD와 RTE에서는 복잡한 어텐션 패턴이 필요한 작업에서 약간의 성능 저하가 있었다.
• 이 방법은 장수열에 대해 GPU 훈련 시간을 50% 감소시켜 이산화탄소 배출량과 에너지 소비를 직접적으로 줄였다.
• 이론적 분석을 통해 근사 오차가 유계이며, 클러스터당 높은 어텐션 점수를 가진 키들을 선택함으로써 최소화할 수 있음을 확인했다.