[논문 리뷰] When Attention Meets Fast Recurrence: Training Language Models with Reduced Compute

Tao Lei|arXiv (Cornell University)|2021. 02. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 SRU++를 제안하며, 빠른 순환 구조와 최소한의 어텐션을 조합하여 순차 모델의 효율성을 극대화함으로써 언어 모델링 성능을 최고 수준으로 달성하면서 학습 계산량을 3배에서 10배 감소시킨다. SRU의 입력 투영을 자기어텐션 구성요소로 대체함으로써 SRU++는 병렬 처리가 가능하면서도 enwik8, Wiki-103, Billion Word 데이터셋에서 최고 수준의 트랜스포머 모델보다 더 낮은 비트/문자 수준과 퍼플렉서티를 달성한다. 이는 훨씬 적은 GPU 학습 시간을 소비한다.

ABSTRACT

Large language models have become increasingly difficult to train because of the growing computation time and cost. In this work, we present SRU++, a highly-efficient architecture that combines fast recurrence and attention for sequence modeling. SRU++ exhibits strong modeling capacity and training efficiency. On standard language modeling tasks such as Enwik8, Wiki-103 and Billion Word datasets, our model obtains better bits-per-character and perplexity while using 3x-10x less training cost compared to top-performing Transformer models. For instance, our model achieves a state-of-the-art result on the Enwik8 dataset using 1.6 days of training on an 8-GPU machine. We further demonstrate that SRU++ requires minimal attention for near state-of-the-art performance. Our results suggest jointly leveraging fast recurrence with little attention as a promising direction for accelerating model training and inference.

연구 동기 및 목표

• 순수한 어텐션 기반 트랜스포머의 학습 비용 증가 문제를 해결하기 위해, 어려운 아키텍처적 대안을 탐색한다.
• 빠른 순환과 최소한의 어텐션을 조합함으로써 높은 모델링 능력을 유지하면서도 학습 및 추론 비용을 극적으로 감소시킬 수 있는지 조사한다.
• 순환과 어텐션은 순차 모델링에서 상호보완적인 구성요소이며, 순환은 낮은 계산 비용으로도 뛰어난 성능을 낼 수 있음을 보여준다.
• 최소한의 어텐션과 위치 인코딩 없이도 near state-of-the-art 성능을 달성할 수 있는 계산적으로 효율적인 트랜스포머의 대안을 제공한다.

제안 방법

• SRU++는 단순 순환 유닛(SRU)의 입력 투영을 자기어텐션 메커니즘으로 대체하여 아키텍처의 병렬 처리 가능성을 유지한다.
• 단일 레이어 자기어텐션 구성요소를 사용하여 순환 전에 맥락 인식 입력 표현을 계산한 후, SRU의 게이트드 순환 메커니즘을 적용한다.
• 위치 인코딩과 다중헤드 어텐션을 피하고, 계산 오버헤드를 줄이기 위해 단일 헤드 어텐션 구성요소에 의존한다.
• 모델은 SRU의 효율적인 파라미터화와 계산 방식을 유지하여 빠른 순방향 전파와 메모리 사용량 감소를 달성한다.
• 표준 언어 모델링 목표를 사용하고, 혼합 정밀도 학습 및 표준 최적화 설정을 통해 학습을 수행한다.
• 구현은 파이토치로 오픈소스화되어 재현성과 향후 확장에 기여한다.

실험 결과

연구 질문

• RQ1 빠른 순환과 최소한의 어텐션을 조합한 모델이 표준 언어 모델링 벤치마크에서 최고 수준의 성능을 달성하면서도 학습 비용을 줄일 수 있는가?
• RQ2 제한된 어텐션을 가진 순환 기반 모델의 퍼플렉서티와 비트/문자 수준은 전체 어텐션 트랜스포머와 비교해 어떻게 되는가?
• RQ3 순차 모델에서 어텐션을 얼마나 최소화해도 모델링 능력이 손상되지 않을까?
• RQ4 빠른 순환과 함께 위치 인코딩과 다중헤드 어텐션 없이 성능에 지장을 주지 않는가?

주요 결과

• enwik8 데이터셋에서 SRU++는 8개 GPU 머신에서 1.6일 간의 학습으로 1.017의 최고 수준의 비트/문자 수치를 달성했으며, 학습 비용이 1/8에 불과한 Transformer-XL을 뛰어넘었다.
• Wiki-103 및 Billion Word 데이터셋에서 SRU++는 최고 성능을 보이는 트랜스포머 모델과 비교해 퍼플렉서티가 우수하거나 유사하며, 학습 계산량을 3배에서 10배 감소시켰다.
• 단지 두 개의 어텐션 레이어만으로도 near state-of-the-art 성능을 달성함으로써, 빠른 순환과 결합된 최소한의 어텐션으로도 충분함을 입증했다.
• 특히 상대 어텐션 구성요소에서의 행렬 곱셈과 텐서 전치 오버헤드가 감소함에 따라, SRU++는 Transformer-XL 대비 배치당 4~5배 더 빠른 속도로 실행된다.
• 위치 인코딩이나 다중헤드 어텐션 없이도 강력한 성능을 유지함으로써, 순환이 장거리 의존성을 효과적으로 모델링할 수 있음을 시사한다.
• SRU++의 파이토치 구현은 오픈소스로 공개되어 재현성과 효율적인 순차 모델링 아키텍처에 대한 향후 연구를 가능하게 한다.