[논문 리뷰] Nyströmformer: A Nyström-Based Algorithm for Approximating Self-Attention

Yunyang Xiong, Zhanpeng Zeng외 5명|arXiv (Cornell University)|2021. 02. 07.

Topic Modeling참고 문헌 60인용 수 29

한 줄 요약

Nyströmformer는 자기 주의의 Nyström 기반 근사를 도입하여 O(n) 시간과 메모리를 달성하고, 긴 시퀀스에 대한 효율적인 Transformer를 가능하게 하며 경쟁력 있는 성능을 유지합니다.

ABSTRACT

Transformers have emerged as a powerful tool for a broad range of natural language processing tasks. A key component that drives the impressive performance of Transformers is the self-attention mechanism that encodes the influence or dependence of other tokens on each specific token. While beneficial, the quadratic complexity of self-attention on the input sequence length has limited its application to longer sequences -- a topic being actively studied in the community. To address this limitation, we propose Nyströmformer -- a model that exhibits favorable scalability as a function of sequence length. Our idea is based on adapting the Nyström method to approximate standard self-attention with $O(n)$ complexity. The scalability of Nyströmformer enables application to longer sequences with thousands of tokens. We perform evaluations on multiple downstream tasks on the GLUE benchmark and IMDB reviews with standard sequence length, and find that our Nyströmformer performs comparably, or in a few cases, even slightly better, than standard self-attention. On longer sequence tasks in the Long Range Arena (LRA) benchmark, Nyströmformer performs favorably relative to other efficient self-attention methods. Our code is available at https://github.com/mlpen/Nystromformer.

연구 동기 및 목표

• 긴 시퀀스용 Transformer 모델에서 확장 가능한 자기 주의의 필요성을 제시한다.
• 전체 소프트맥스 자기 주의를 선형 복잡도로 대체하기 위한 Nyström 기반 근사를 제안한다.
• 소프트맥스 행렬을 근사하기 위한 랜드마크(Nyström) 전략과 반복적인 의사역을 이용한 방법을 개발한다.
• 표준 NLP 벤치마크와 긴 시퀀스 과제에서 이 접근법을 평가하여 정확도와 효율성을 기준선과 비교한다.

제안 방법

• 자기 주의를 S = softmax(QK^T / sqrt(d_q))로 표현하고 Nyström 방법으로 S를 O(n) 복잡도로 근사하는 것을 목표로 한다.
• Q- 및 K 기반의 랜드마크를 도입하여 랜드마크에 대해 softmax를 적용해 작은 m x m 행렬 A_S를 형성하고, 그 무어-펜로즈 역수를 계산한다.
• S의 Nyström-형식 근사를 도출한다: hat{S} = softmax(Q ~K^T / sqrt(d_q)) A_S^+ softmax(~Q K^T / sqrt(d_q)).
• Segment-means를 사용하여 Q- 및 K-랜드마크를 계산하는 랜드마크 선택을 O(n)으로 효율적으로 적응시킨다.
• 비용이 큰 SVD를 피하기 위해 반복적 방법으로 A_S의 무어-펜로즈 역수 Z^*를 계산하고 실제로는 약 6회의 반복에서 안정화한다.
• 자기 주의 출력은 hat{S} V로 근사되어 V에 대한 깊이별 컨볼루션(depthwise conv)으로 스킵 연결을 통합한 선형 시간 자기 주의 모듈을 얻는다.

실험 결과

연구 질문

• RQ1 소프트맥스 자기 주의의 Nyström 기반 근사가 NLP 벤치마크에서 표준 주의(attention)와 유사한 정확도를 달성할 수 있는가?
• RQ2 Nyströmformer가 시퀀스 길이에 따라 선형 시간 및 메모리 복잡도를 유지하면서 성능을 유지하는가?
• RQ3 긴 시퀀스 과제에서 Nyströmformer가 다른 효율적 자기 주의 방법들과 비교하여 어떤 성능을 보이는가?
• RQ4 실용적 학습을 위한 랜드마크 선택(Segment-means) 및 의사역 근사의 트레이드오프는 무엇인가?

주요 결과

• Nyströmformer는 GLUE와 IMDB에서 기준선 BERT에 비해 비슷하거나 약간 더 나은 성능을 달성하면서도 상당한 효율 향상을 보인다.
• 긴 범위 과제(Long Range Arena)에서 Nyströmformer는 다른 효율적 자기 주의 방법들(예: Reformer, Linformer, Performer)과 비교하여 우수한 성능을 보인다.
• 랜드마크 수 m이 n보다 훨씬 작을 때 이 방법은 시퀀스 길이 n에 대해 시간과 메모리 모두 선형으로 확장된다.
• Segment-means 랜드마크 선택은 최소한의 오버헤드로 O(n) 계산을 가능하게 한다.
• 실험 결과 Nyströmformer가 표준 자기 주의에 가까운 정확도를 유지하면서도 여러 선형 주의 변형을 능가할 수 있음을 보인다.