[논문 리뷰] Conv-Linformer: Boosting Linformer's Performance with Convolution in Small-Scale Settings

Sinong Wang, Belinda Z. Li외 3명|arXiv (Cornell University)|2020. 06. 08.

Neural Networks and Applications참고 문헌 27인용 수 880

한 줄 요약

Conv-Linformer은 합성곱 구성요소를 도입하여 Linformer를 향상시키고 소규모 설정에서 성능을 개선하며 선형 시간 자기 주의와 함께 표준 Transformer에 비견되는 결과를 달성한다. 더 긴 시퀀스의 효율성 이점을 유지한다.

ABSTRACT

Large transformer models have shown extraordinary success in achieving state-of-the-art results in many natural language processing applications. However, training and deploying these models can be prohibitively costly for long sequences, as the standard self-attention mechanism of the Transformer uses $O(n^2)$ time and space with respect to sequence length. In this paper, we demonstrate that the self-attention mechanism can be approximated by a low-rank matrix. We further exploit this finding to propose a new self-attention mechanism, which reduces the overall self-attention complexity from $O(n^2)$ to $O(n)$ in both time and space. The resulting linear transformer, the extit{Linformer}, performs on par with standard Transformer models, while being much more memory- and time-efficient.

연구 동기 및 목표

• Transformer 자기 주의의 효율성 병목 현상이 시퀀스 길이에 대해 제곱적으로 증가한다는 점을 동기 부여하고 해결한다.
• 자기 주의가 저랭크 연산으로 근사 가능하여 선형 시간과 공간 복잡도를 달성한다.
• 계산량을 줄이면서 성능을 유지하는 합성곱 보조 Linformer 변형을 제안한다.
• 사전 학습과 다운스트림 작업 성능이 표준 Transformer와 효율성 증가와 함께 비교 가능함을 실증적으로 보인다.

제안 방법

• 계층 및 헤드 간 스펙트럼 분석을 통해 자기 주의 컨텍스트 매핑 행렬이 저랭크임을 증명한다.
• 키와 값에 투사 행렬 E 와 F를 도입하여 O(nk) 계산을 생성하는 선형 자기 주의 메커니즘을 제안하며, k << n.
• 적절한 k를 사용하면 이 근사가 P·VW^V에 대해 ε-오차를 보장한다는 이론적 보장을 제공한다.
• 층별 공유 매개변수와 비균일한 투사 차원 같은 실용적 효율 기술들을 탐구한다.
• BookCorpus+Wikipedia에서 MLM 목표로 모델을 사전 학습하고 GLUE 과제 및 IMDB에서 미세 조정하여 Transformer 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 표준 Transformer의 자기 주의가 실질적으로 저랭크인지, 정확한 저랭크 근사가 가능한지?
• RQ2 선형 시간 자기 주의 메커니즘이 표준 NLP 작업에서 전체 자기 주의의 성능과 일치할 수 있는가?
• RQ3 투사 차원 k 및 공유 전략이 사전 학습 및 다운스트림 성능에 미치는 영향은 무엇인가?
• RQ4 Linformer의 효율성 증가가 시퀀스 길이와 하드웨어 제약에 따라 큰 정확도 손실 없이 확장되는가?

주요 결과

• 자기 주의 컨텍스트 매핑은 저랭크 스펙트럼을 보이며, 대부분의 정보가 가장 큰 특이값으로 포착된다.
• 투사 E와 F를 사용하는 선형 자기 주의 변형은 O(nk)로 복잡성을 낮추며, k가 n보다 훨씬 작다.
• 적절한 k(예시로 보고된 설정에서 128–256) 사용 시 Linformer는 사전 학습 perplexity 및 다운스트림 작업에서 RoBERTa류 베이스라인에 경쟁한다.
• 레이어별 투사 행렬 공유는 정확도를 보존하면서 매개변수 수와 메모리 사용을 줄일 수 있다.
• Linformer는 표준 Transformer 대비 특히 더 긴 시퀀스 길이에서 추론 시간의 상당한 속도 향상과 메모리 절감을 보인다.