[논문 리뷰] Language Modeling using LMUs: 10x Better Data Efficiency or Improved Scaling Compared to Transformers

Narsimha Chilkuri, Eric Hunsberger외 3명|arXiv (Cornell University)|2021. 10. 05.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 10배 뛰어난 데이터 효율성을 보이는 레전드르 기억 요소(LMU)-기반 언어 모델을 제안한다. 이 모델은 손실 수준을 맞추기 위해 트랜스포머보다 1/10에 불과한 학습 토큰을 요구한다. 레전드르 다항식 투영을 통해 O(n) 메모리와 O(n ln n) 계산 복잡도를 구현함으로써, 특히 글로벌 자기주의(self-attention)와 조합된 경우, 트랜스포머와 LSTMs보다 더 나은 스케일링 성능을 보인다.

ABSTRACT

Recent studies have demonstrated that the performance of transformers on the task of language modeling obeys a power-law relationship with model size over six orders of magnitude. While transformers exhibit impressive scaling, their performance hinges on processing large amounts of data, and their computational and memory requirements grow quadratically with sequence length. Motivated by these considerations, we construct a Legendre Memory Unit based model that introduces a general prior for sequence processing and exhibits an $O(n)$ and $O(n \ln n)$ (or better) dependency for memory and computation respectively. Over three orders of magnitude, we show that our new architecture attains the same accuracy as transformers with 10x fewer tokens. We also show that for the same amount of training our model improves the loss over transformers about as much as transformers improve over LSTMs. Additionally, we demonstrate that adding global self-attention complements our architecture and the augmented model improves performance even further.

연구 동기 및 목표

• 언어 모델링에서 트랜스포머의 높은 데이터 및 계산 요구량, 특히 시퀀스 길이에 따라 O(n²)로 증가하는 메모리와 계산 복잡도 문제를 해결하기 위해.
• 비매개변수적이고 메모리 효율적인 아키텍처인 레전드르 기억 요소(LMU)가 트랜스포머보다 더 나은 스케일링 법칙과 데이터 효율성을 달성할 수 있는지 탐색하기 위해.
• LMU 상태를 통한 암묵적 자기주의가 트랜스포머의 명시적 자기주의와 동일하거나 이를 초월하는 성능을 달성할 수 있는지 평가하기 위해.
• LMU에 글로벌 자기주의를 추가함으로써 성능과 장기적 문맥 모델링이 향상되는지 조사하기 위해.
• 모델 크기와의 관계에서 LMU 모델의 파wr-법칙 스케일링 행동을 검증하고, 트랜스포머 및 LSTMs와의 스케일링 지수를 비교하기 위해.

제안 방법

• 모델은 비매개변수적 선형 시간 불변(LTI) 시스템인 레전드르 기억 요소(LMU)를 사용하며, 입력 토큰의 슬라이딩 윈도우를 q개의 레전드르 다항식에 투영함으로써 효율적인 시간적 표현을 가능하게 한다.
• LMU 상태는 고정된 행렬 재귀를 통해 업데이트된다: $\mathbf{m}_t = \bar{\mathbf{A}} \mathbf{m}_{t-1} + \bar{\mathbf{B}} x_t$, 여기서 $\bar{\mathbf{A}}$와 $\bar{\mathbf{B}}$는 LTI 시스템에서 유도된 고정된 행렬이다.
• LTI 업데이트는 병렬 컨볼루션으로 계산되며, $\mathbf{m}_t = \sum_{j=1}^{t} \bar{\mathbf{A}}^{t-j} \bar{\mathbf{B}} x_j$로 표현되며, 이는 O(n) 메모리와 O(n ln n) 계산 복잡도를 보장한다.
• 모델은 각 타임스텝에서 LMU의 은닉 상태에만 글로벌 어텐션 메커니즘을 적용함으로써 '암묵적 자기주의'를 구현한다. 이는 타임스텝 간의 어텐션은 적용하지 않는다.
• 장기적 문맥 모델링을 향상시키기 위해 글로벌 자기주의를 통합한 변형 모델을 도입하여, LMU의 효율성과 어텐션의 표현력의 이점을 결합한다.
• 모델은 WebText2 데이터셋에서 학습되며, 모델 크기(임bedding 제외 파라미터 수)와 교차 엔트로피 손실 간의 파워-법칙 관계를 피팅하여 스케일링 법칙을 평가한다.

실험 결과

연구 질문

• RQ1 LMU 기반 모델은 모델 크기와 언어 모델링 손실 간에 트랜스포머와 LSTMs와 유사한 파워-법칙 스케일링 관계를 보일까?
• RQ2 LMU 모델은 더 적은 학습 데이터로 트랜스포머와 동일하거나 더 높은 성능을 달성할 수 있을까? 이는 향상된 데이터 효율성 덕분일까?
• RQ3 LMU 모델의 암묵적 자기주의 메커니즘은 명시적 단계 간 어텐션 없이도 장거리 의존성을 효과적으로 포착할 수 있을까?
• RQ4 LMU 아키텍처에 글로벌 자기주의를 추가하면 기존 LMU 및 트랜스포머와 비교해 성능과 스케일링 행동에 어떤 영향을 미칠까?
• RQ5 LMU 모델의 O(n) 메모리와 O(n ln n) 계산 복잡도가 트랜스포머의 O(n²) 복잡도보다 더 나은 스케일링을 가능하게 할 수 있을까?

주요 결과

• LMU 모델은 트랜스포머와 동일한 교차 엔트로피 손실을 달성하기 위해 10배 적은 학습 토큰을 요구하며, 이는 10배 뛰어난 데이터 효율성을 보여준다.
• 동일한 학습 예산에서 LMU 모델은 트랜스포머의 성능 향상 폭과 동일한 수준으로 손실을 향상시키며, 이는 트랜스포머가 LSTMs를 얼마나 향상시키는지와 유사한 수준이다.
• LMU 모델은 모델 크기와의 관계에서 파워-법칙 스케일링 관계를 보이며, $\text{LMU}(N) = \left(\frac{N}{1.95 \cdot 10^{14}}\right)^{-0.072}$로 표현되며, 스케일링 지수는 트랜스포머와 유사하다.
• 글로벌 어텐션을 통합한 LMU 모델은 $\text{LMU}_G(N) = \left(\frac{N}{3.80 \cdot 10^{14}}\right)^{-0.069}$로 표현되며, 기본 LMU보다 略적으로 더 나은 스케일링 성능을 보인다.
• 글로벌 어텐션을 통합한 LMU 모델은 트랜스포머보다 10배 많은 토큰으로 학습된 경우에도 여전히 성능이 뛰어나며, 이는 뛰어난 데이터 효율성과 성능을 확인한다.
• 토큰 단위 손실 플롯을 분석한 결과, 기본 LMU 모델은 약 100 토큰에서 손실이 수평으로 편평해지며 장기적 문맥 모델링 능력이 제한됨을 보이고, 반면 글로벌 어텐션 변형은 트랜스포머와 유사하게 더 긴 문맥에서도 성능 향상을 유지한다.