[논문 리뷰] Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation

Ofir Press, Noah A. Smith외 1명|arXiv (Cornell University)|2021. 08. 27.

Topic Modeling인용 수 115

한 줄 요약

본 논문은 ALiBi를 소개합니다. ALiBi는 학습 중에 본 길이보다 긴 입력 시퀀스에 대해 트랜스포머 언어 모델이 외삽할 수 있게 하는 간단한 어텐션 바이어스이며, 위치 임베딩을 추가하거나 런타임 속도를 늦추지 않습니다.

ABSTRACT

Since the introduction of the transformer model by Vaswani et al. (2017), a fundamental question has yet to be answered: how does a model achieve extrapolation at inference time for sequences that are longer than it saw during training? We first show that extrapolation can be enabled by simply changing the position representation method, though we find that current methods do not allow for efficient extrapolation. We therefore introduce a simpler and more efficient position method, Attention with Linear Biases (ALiBi). ALiBi does not add positional embeddings to word embeddings; instead, it biases query-key attention scores with a penalty that is proportional to their distance. We show that this method trains a 1.3 billion parameter model on input sequences of length 1024 that extrapolates to input sequences of length 2048, achieving the same perplexity as a sinusoidal position embedding model trained on inputs of length 2048 but training 11% faster and using 11% less memory. ALiBi's inductive bias towards recency also leads it to outperform multiple strong position methods on the WikiText-103 benchmark.

연구 동기 및 목표

• 트랜스포머가 학습보다 더 긴 시퀀스로 외삽하는 데 왜 어려움을 겪는지 조사한다.
• 외삽을 위한 기존 위치 방법들(sinusoidal, rotary, T5 bias)을 평가한다.
• 거리에 따라 어텐션에 바이어스를 주는 간단하고 효율적인 대안(ALiBi)을 제안한다.
• ALiBi가 짧은 시퀀스로의 학습을 가능하게 하고 긴 시퀀스에 대한 신뢰할 만한 추론을 가능케 함을 입증한다.
• 대상 도메인과 모델 크기에 걸쳐 적용 가능성을 보여주고, 대규모 설정도 포함한다.

제안 방법

• 하단 위치 임베딩을 선형 거리 기반 바이어스로 대체하여 어텐션 스코어에 더한다.
• 외삽 동작을 제어하기 위해 각 헤드마다 고정 기하급수적 진행으로 기울기(slope)를 설정한다.
• 모델 매개변수를 바꾸지 않고 짧은 시퀀스에서 트랜스포머 언어 모델을 학습하고 더 긴 시퀀스에서의 perplexity를 평가한다.
• 속도, 메모리, perplexity 측면에서 ALiBi를 sinusoidal, rotary, T5 바이어스 기반선과 비교한다.
• WikiText-103 및 CC100+RoBERTa 도메인에서 학습 길이의 몇 배에 달하는 외삽 성능(예: 2x–3x 및 그 이상)을 보여준다.

실험 결과

연구 질문

• RQ1 추가적인 더 긴 시퀀스에 대한 학습 없이 위치 방법만 수정하여 더 긴 입력 길이에 대한 외삽을 달성할 수 있는가?
• RQ2 다양한 모델 크기와 데이터셋에서 perplexity, 속도, 메모리 측면에서 ALiBi가 sinusoidal, rotary, T5 바이어스와 어떻게 비교되는가?
• RQ3 ALiBi가 매우 긴 시퀀스(예: 10,000 토큰)로 외삽할 때도 성능을 유지하며 다양한 도메인에서 작동하는가?
• RQ4 ALiBi의 구현이 쉽고 런타임 비용 및 메모리 오버헤드가 거의 없는가?

주요 결과

• ALiBi는 짧은 시퀀스에서 학습 가능하게 하면서 긴 시퀀스에서 평가될 때 사인파 기반의 기준선과 같거나 더 나은 perplexity를 달성한다.
• L=1024에서 ALiBi로 학습된 1.3B 파라미터 모델은 2048-토큰 평가에서 L=2048로 학습된 사인형 모델과 같은 perplexity를 달성하며, 훈련 속도는 11% 빨라고 메모리 사용량은 11% 감소한다.
• ALiBi는 최대 10,000 토큰 길이의 시퀀스로 외삽하더라도 강한 성능을 유지한다.
• WikiText-103에서 L=512–3072로 학습된 ALiBi 모델은 외삽 범위 전반에서 사인파 기반 기준선을 능가하며, 확연한 속도 및 메모리 이점을 보인다.
• CC100+RoBERTa에서 ALiBi는 6%–11% 적은 메모리 사용과 7% 빠른 학습으로 대규모 설정에서도 사인파 기준선과 비슷한 perplexities를 달성한다.
• ALiBi는 서로 다른 도메인(도서)에 대한 전이 가능성을 보이고, 기울기 등의 하이퍼파라미터를 재조정하지 않고도 규모가 확장된다.