[논문 리뷰] Linear Complexity Randomized Self-attention Mechanism

Zheng Lin, Chong Wang외 1명|arXiv (Cornell University)|2022. 04. 10.

Domain Adaptation and Few-Shot Learning인용 수 8

한 줄 요약

이 논문은 선형 복잡도를 갖는 새로운 선형 자기주의 메커니즘인 선형 랜덤화된 주의(LARA)를 제안한다. 이는 편향이 없는 랜덤화된 주의(RA) 추정기의 표현력과 랜덤 특징 근사의 효율성을 결합한다. RFAs를 스스로 정규화된 중요도 샘플링기로 재해석함으로써, 저자들은 RA를 도출한다. RA는 더 높은 정밀도를 갖기 위해 쿼리별로 다른 분포를 사용하며, 이를 다중 쿼리 의존성 제안과 다중 중요도 샘플링을 통해 일반화함으로써 선형 복잡도를 유지하면서도 기존 방법들보다 시각, NLP, 영상 작업에서 뚜렷이 뛰어난 성능을 달성한다.

ABSTRACT

Recently, random feature attentions (RFAs) are proposed to approximate the softmax attention in linear time and space complexity by linearizing the exponential kernel. In this paper, we first propose a novel perspective to understand the bias in such approximation by recasting RFAs as self-normalized importance samplers. This perspective further sheds light on an \emph{unbiased} estimator for the whole softmax attention, called randomized attention (RA). RA constructs positive random features via query-specific distributions and enjoys greatly improved approximation fidelity, albeit exhibiting quadratic complexity. By combining the expressiveness in RA and the efficiency in RFA, we develop a novel linear complexity self-attention mechanism called linear randomized attention (LARA). Extensive experiments across various domains demonstrate that RA and LARA significantly improve the performance of RFAs by a substantial margin.

연구 동기 및 목표

• 기존의 랜덤 특징 주의(RFA) 방법에서 소프트맥스 주의에 편향되는 근본 원인인 추정 과정에서의 스스로 정규화의 영향을 해결하기 위해.
• RFA를 스스로 정규화된 중요도 샘플링기로 재해석하고, 쿼리별로 다른 양의 랜덤 특징 추정기로 구성된 편향 없는 추정기인 랜덤화된 주의(RA)를 제안하기 위해.
• 편향 없는 추정기(RA)의 높은 표현력과 RFA의 선형 복잡도를 융합하여 새로운 효율적인 주의 메커니즘을 개발하기 위해.
• 다양한 시퀀스 모델링 작업에서 최신 기준 성능을 달성하면서도 선형 시간 및 공간 복잡도를 유지하기 위해.

제안 방법

• 소프트맥스 주의를 근사화할 때 발생하는 편향의 근본 원인을 규명하기 위해 RFA를 스스로 정규화된 중요도 샘플링기로 재해석하기 위해.
• 쿼리별로 다른 분포를 사용하여 양의 랜덤 특징을 구성함으로써 정밀도를 향상시키는 편향 없는 추정기인 랜덤화된 주의(RA)를 제안하기 위해.
• 다양한 쿼리 집합에 맞게 맞춤형으로 설정된 다중 쿼리 의존성 제안 분포를 도입하여 중요도 샘플링 프레임워크를 일반화하기 위해.
• 다양한 제안의 추정치를 적응형 가중치 함수를 사용해 조합함으로써 다중 중요도 샘플링을 적용하고, 쿼리별 적응성을 확보하기 위해.
• 가중치 함수 내의 쿼리 무관 및 쿼리 의존 성분을 분리하여 추정 효율성과 정확도를 향상시키기 위해.
• 각 제안을 정규분포 또는 정규분포 혼합 분포로 매개변수화하고, 트랜스포머 프레임워크 내에서 엔드 투 엔드로 훈련하기 위해.

실험 결과

연구 질문

• RQ1 왜 기존의 랜덤 특징 주의 방법들은 지수 커널의 편향 없는 추정에도 불구하고 소프트맥스 주의 근사에서 편향을 보이는가?
• RQ2 근사를 중요도 샘플링으로 재해석함으로써 전체 소프트맥스 주의에 대한 편향 없는 추정기를 구성할 수 있는가?
• RQ3 RA의 근사 정밀도를 향상시키면서도 RFA의 계산 효율성을 유지할 수 있는가?
• RQ4 다중 쿼리 의존성 제안과 적응형 가중치 함수의 영향은 주의 메커니즘의 성능과 복잡도에 어떤가?
• RQ5 제안된 방법은 다양한 작업에서 뛰어난 성능을 달성하면서도 선형 복잡도를 유지할 수 있는가?

주요 결과

• RA는 RFA보다 더 높은 근사 정밀도를 확보했으며, LRA 벤치마크에서 5개 작업 중 3개에서 표준 소프트맥스 주의를 능가했고, 평균 상위 1위 정확도가 59.30%에 이르렀다.
• RA의 선형 복잡도 변형인 LARA는 LRA 벤치마크에서 평균 상위 1위 정확도 59.12%를 기록했으며, 모든 5개 작업에서 Performer(57.63%) 및 기타 베이스라인을 모두 능가했다.
• DeiT-Tiny를 사용한 ImageNet1k에서 LARA는 상위 1위 정확도 71.48%를 기록했으며, Performer(65.92%)와 단일 제안자 버전(68.42%)을 크게 앞서갔다.
• 제거 실험을 통해 다중 제안과 분리된 가중치 함수가 결합된 대안 대비 0.4% 이상 정확도 향상을 확인했다.
• 제안 분포에 단순한 정규분포 매개변수화 방식을 사용해도 더 복잡한 정규분포 혼합보다 높은 성능을 기록함으로써, 강건성과 효율성을 입증했다.