[논문 리뷰] Skyformer: Remodel Self-Attention with Gaussian Kernel and Nystr\\"om Method

Yifan Chen, Qi Zeng외 2명|arXiv (Cornell University)|2021. 10. 29.

Neural Networks and Applications참고 문헌 24인용 수 7

한 줄 요약

Skyformer는 표준 소프트맥스를 가우시안 커널로 대체하여 학습 안정성을 향상시키고, 비정부정행렬에 대해 수정된 니스트룸 방법을 통해 효율적인 근사치를 제공하는 커널화된 어텐션 메커니즘을 제안한다. 이 방법은 계산 비용을 크게 줄이고 수렴 안정성을 향상시키면서도 Long Range Arena 벤치마크에서 전체 자기어텐션과 비교해 유사하거나 더 뛰어난 성능을 달성한다.

ABSTRACT

Transformers are expensive to train due to the quadratic time and space complexity in the self-attention mechanism. On the other hand, although kernel machines suffer from the same computation bottleneck in pairwise dot products, several approximation schemes have been successfully incorporated to considerably reduce their computational cost without sacrificing too much accuracy. In this work, we leverage the computation methods for kernel machines to alleviate the high computational cost and introduce Skyformer, which replaces the softmax structure with a Gaussian kernel to stabilize the model training and adapts the Nystr\\"om method to a non-positive semidefinite matrix to accelerate the computation. We further conduct theoretical analysis by showing that the matrix approximation error of our proposed method is small in the spectral norm. Experiments on Long Range Arena benchmark show that the proposed method is sufficient in getting comparable or even better performance than the full self-attention while requiring fewer computation resources.

연구 동기 및 목표

• 트랜스포저에서 표준 자기어텐션의 높은 계산 비용과 학습 불안정성 문제를 해결하기 위해.
• 소프트맥스 구조를 가우시안 커널으로 대체하여 커널 방법을 활용해 학습 안정성을 향상시키기 위해.
• 비정부정행렬에 대해 니스트룸 방법을 적용하여 커널화된 어텐션에 대한 효율적인 근사치 방법을 개발하기 위해.
• 제안된 방법의 행렬 근사 오차에 대해 스펙트럴 노름에서 이론적 보장을 제공하기 위해.
• 장거리 시퀀스 작업에서 자원 소비를 줄이며 경쟁 가능한 성능을 달성하는가를 입증하기 위해.

제안 방법

• 표준 소프트맥스 어텐션을 가우시안 커널 기반 어텐션 메커니즘으로 대체하여 학습 안정성과 수치적 행동을 향상시키기 위해.
• 니스트룸 방법을 변형하여 커널화된 어텐션 행렬을 더 큰 정부정행렬로 변환함으로써 저랭크 근사를 가능하게 하기 위해.
• 난수 스케칭을 사용하여 커널 행렬의 차원을 감소시켜 계산 속도를 높이면서도 정확도를 유지하기 위해.
• 이론적 분석을 통해 행렬 근사 오차의 스펙트럴 노름이 작음을 확인하여 근사 품질에 대한 공식적 보장을 제공하기 위해.
• 자신과 키 행렬이 다를 경우 발생하는 비-PSD 커널 행렬을 다루기 위해 대칭화 기법을 도입하기 위해.
• 성능과 효율성을 다양한 NLP 작업에서 평가하기 위해 Long Range Arena 벤치마크에 이 방법을 적용하기 위해.

실험 결과

연구 질문

• RQ1 자기어텐션의 소프트맥스 구조를 가우시안 커널로 대체하면 학습 안정성이 향상되고 하이퍼파ram터에 대한 민감도가 감소하는가?
• RQ2 자기어텐션에서 발생하는 비정부정행렬 커널 행렬에 대해 니스트룸 방법을 효과적으로 적용하여 효율적인 근사를 가능하게 할 수 있는가?
• RQ3 제안된 방법의 근사 오차에 대해 스펙트럴 노름 기반 이론적 한계는 무엇인가?
• RQ4 제안된 방법이 계산 비용과 메모리 소비를 줄이며 표준 자기어텐션과 비교해 유사하거나 더 뛰어난 성능을 달성하는가?
• RQ5 시퀀스 길이가 증가함에 따라 방법의 성능은 어떻게 변화하며, 시퀀스 길이와 근사 효율성 간의 관계는 어떠한가?

주요 결과

• 표준 자기어텐션 대비 텍스트 분류 및 문서 검색 작업에서 거의 4배의 속도 향상을 기록했으며, 학습 시간과 메모리 사용량이 감소했다.
• 텍스트 분류 작업에서 표준 자기어텐션 기준 2.75% 향상되었고, 문서 검색 작업에서는 1.37% 향상되었다.
• 다양한 난수 시드에서 학습이 더 안정적이며, 수렴 실패 비율이 낮고 학습률 변화에 대한 민감도가 감소했다.
• 이론적 분석을 통해 Skyformer의 행렬 근사 오차가 스펙트럴 노름에서 작음을 확인하여 신뢰성을 뒷받침했다.
• 더 긴 시퀀스에서 성능이 더 뛰어나지, 커널 행렬의 통계적 차원이 시퀀스 길이 대비 작아져 근사가 더 효과적이기 때문이다.
• 실험 결과, 표준 자기어텐션에 직접 니스트룸 근사를 적용할 경우 수치적 불안정성이 발생하지만, 커널화된 어텐션 변형은 학습을 안정화시켰다.