[논문 리뷰] Beyond Classical Attention: Quantum Attention for Scalable Computation

Yeqi Gao, Zhao Song외 2명|arXiv (Cornell University)|2023. 07. 16.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)의 희소 어텐션 행렬을 계산할 때 다항 시간 속도 향상을 달성하기 위해 그로버의 탐색 알고리즘을 활용하는 양자 어텐션 메커니즘을 제안한다. 어텐션 점수의 희소성과 양자 확률 증폭을 활용함으로써, 시간 복잡도를 O(n²d)에서 Õ(n¹·⁵k⁰·⁵d + nkd)로 감소시키며, 증명 가능한 오차 한계와 훈련에 유리한 저랭크 구조를 제공한다.

ABSTRACT

As large language models (LLMs) demonstrate outstanding performance across various tasks, attention-driven models have profoundly transformed the field of machine learning. Since attention computations account for the primary computational overhead in both model inference and training, efficiently computing attention matrices has become one of the core challenges in accelerating large language models. It is well-known that quantum machines possess computational advantages over classical machines, and the role of quantum computing in LLMs remains largely unexplored. In this work, we focus on leveraging the Grover search algorithm to efficiently compute a sparse attention matrix. Through comparisons with classical algorithms, we demonstrate that our method achieves quantum acceleration in polynomial time. Additionally, we observe that the generated quantum attention matrices naturally exhibit low-rank structures, providing further theoretical support for efficient modeling. Moreover, within the specific context of attention matrix computation, we conduct a systematic and detailed analysis of the error and time complexity of the proposed algorithm.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)에서 고전적 자기어텐션의 높은 계산 비용을 해결하기 위해, 이는 O(n²d)로 스케일링된다.
• 양자 컴퓨팅이 LLMs의 어텐션 계산을 가속화할 수 있는지 탐색하며, 특히 어텐션 점수의 희소성 활용을 중심으로 한다.
• 정확도를 유지하면서 고전적 방법에 비해 증명 가능한 속도 향상을 달성하는 양자 알고리즘을 설계한다.
• 제안된 양자 어텐션 메커니즘의 시간 복잡도와 오차 한계를 분석한다.

제안 방법

• 이 방법은 각 쿼리 토큰당 k개의 가장 높은 어텐션 점수를 식별하기 위해 그로버의 탐색 알고리즘을 사용하며, QKᵀ 행렬의 희소성을 활용한다.
• 양자 오ракulum을 사용하여 (QKᵀ)_{i,j} ≥ τ 인 인덱스 j를 마킹함으로써 희소 어텐션 행렬 B를 구성한다.
• 확률 증폭을 적용하여 높은 점수를 가진 어텐션 항목을 찾는 데 이차적 속도 향상을 달성한다.
• 결과로 생성된 희소 행렬 B는 D(B)⁻¹BV를 통해 어텐션 출력을 계산하는 데 사용되며, 희소 부분의 시간 복잡도는 O(nkd)이다.
• 이 방법은 어텐션 행렬에 저랭크 구조를 보장하여 이후 훈련 단계를 가속화할 수 있다.
• 오차 분석은 고전적 어텐션 출력 D(A)⁻¹AV와 양자 출력 D(B)⁻¹BV 사이의 차이를 O(η²)로 경계하며, 여기서 η는 값 행렬의 무한노름에 대한 경계이다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 대규모 언어 모델에서 어텐션 계산에 대해 확장 가능한 속도 향상을 제공할 수 있는가?
• RQ2 어텐션 점수의 희소성 활용이 어텐션 행렬 계산에서 실용적인 양자 우위를 가능하게 하는가?
• RQ3 고전적 방법과 비교해 볼 때, 양자 어텐션 메커니즘의 시간 복잡도와 오차 내성은 어떻게 되는가?
• RQ4 양자로 구성된 어텐션 행렬이 효율적인 피취인 및 훈련에 유용한 저랭크 구조를 유지할 수 있는가?

주요 결과

• 제안된 양자 알고리즘은 Õ(n¹·⁵k⁰·⁵d + nkd)의 시간 복잡도를 달성하여 고전적 O(n²d) 방법에 비해 다항 속도 향상을 제공한다.
• 양자 어텐션 행렬 B는 저랭크 구조를 보이며, 이는 LLMs의 더 빠른 훈련을 가능하게 할 수 있다.
• 고전적 어텐션 출력 D(A)⁻¹AV와 양자 출력 D(B)⁻¹BV 사이의 오차는 O(η²)로 경계되며, 여기서 η = ||V||∞이다.
• 이 방법은 각 쿼리당 k개의 높은 점수를 가진 어텐션 항목을 식별하기 위해 그로버의 탐색에 의존하여, 실질적인 계산을 희소 연산으로 줄인다.
• 오차는 값 행렬의 노름에 따라 제곱적으로 증가하나, 유한한 변동에 대해 강인하며, 이는 안정성을 보장한다.
• 이론적 프레임워크는 특히 LLMs에서 흔한 희소 영역에서 어텐션 메커니즘의 양자 가속화를 위한 기초를 마련한다.