[논문 리뷰] Toeplitz Neural Network for Sequence Modeling

Zhen Qin, Xiaodong Han외 7명|arXiv (Cornell University)|2023. 05. 08.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 순차적 모델링 아키텍처인 토플리츠 신경망(TNN)을 제안한다. TNN는 어텐션 메커니즘을 학습 가능한 토플리츠 행렬로 대체하여 로그선형 공간-시간 복잡도를 달성한다. 경량 상대적 위치 인코더와 지수 감쇠 바이어스를 활용해 TNN는 최대 14K 토큰까지의 시퀀스 길이에서 일관된 성능을 유지하며, Long-Range Arena와 같은 장거리 작업에서 경쟁 모델들을 능가하면서도 훨씬 더 빠르게 작동한다.

ABSTRACT

Sequence modeling has important applications in natural language processing and computer vision. Recently, the transformer-based models have shown strong performance on various sequence modeling tasks, which rely on attention to capture pairwise token relations, and position embedding to inject positional information. While showing good performance, the transformer models are inefficient to scale to long input sequences, mainly due to the quadratic space-time complexity of attention. To overcome this inefficiency, we propose to model sequences with a relative position encoded Toeplitz matrix and use a Toeplitz matrix-vector production trick to reduce the space-time complexity of the sequence modeling to log linear. A lightweight sub-network called relative position encoder is proposed to generate relative position coefficients with a fixed budget of parameters, enabling the proposed Toeplitz neural network to deal with varying sequence lengths. In addition, despite being trained on 512-token sequences, our model can extrapolate input sequence length up to 14K tokens in inference with consistent performance. Extensive experiments on autoregressive and bidirectional language modeling, image modeling, and the challenging Long-Range Arena benchmark show that our method achieves better performance than its competitors in most downstream tasks while being significantly faster. The code is available at https://github.com/OpenNLPLab/Tnn.

연구 동기 및 목표

• 장거리 시퀀스 모델링을 위한 트랜스포머의 자기어텐션 메커니즘에서 발생하는 제곱형 복잡도 장벽을 해결하기 위해.
• 콘텐츠 기반 어텐션에 의존하지 않고도 상대적 위치 정보만으로 효과적인 시퀀스 모델링이 가능한지 탐색하기 위해.
• 재학습 없이도 다양한 시퀀스 길이에 일반화할 수 있는 파라미터 효율적인 아키텍처를 설계하기 위해.
• Long-Range Arena와 같은 장거리 벤치마크에서 강력한 성능과 외삽 능력을 달성하기 위해.

제안 방법

• 토큰 간 상대적 위치 관계를 인코딩하는 학습 가능한 토플리츠 행렬로 표준 어텐션 행렬을 대체한다.
• 빠른 푸리에 변환(FFT) 기반의 토플리츠 행렬-벡터 곱셈을 활용해 계산 복잡도를 O(n²)에서 O(n log n)으로 감소시킨다.
• 시퀀스 길이에 관계없이 고정된 파라미터 예산 내에서 작동하는 경량 상대적 위치 인코더(RPE)를 도입하여 토플리츠 계수를 생성한다.
• 추론 중 더 긴 시퀀스로의 일반화를 가능하게 하기 위해 토플리츠 행렬에 직접 지수 감쇠 바이어스를 적용한다.
• 토큰 믹싱 블록에서 표현 능력을 향상시키기 위해 게이팅 선형 유닛(GLU)과 게이팅 타이드 유닛(GTU)을 사용한다.
• TNN를 트랜스포머, CNN, 상태공간 모델을 특수 케이스로 포함하는 통합 프레임워크로 제안한다.

실험 결과

연구 질문

• RQ1 콘텐츠 기반 어텐션에 의존하지 않고 상대적 위치 인코딩만으로도 강력한 성능을 달성할 수 있는가?
• RQ2 로그선형 복잡도를 가진 모델이 장거리 시퀀스 모델링 작업에서 제곱형 복잡도 트랜스포머를 능가할 수 있는가?
• RQ3 파라미터 효율적인 아키텍처가 재학습 없이도 훈련 길이보다 훨씬 긴 시퀀스 길이(예: 14K 토큰)로 일반화할 수 있는가?
• RQ4 장거리 벤치마크에서 제안된 TNN는 속도, 메모리, 정확도 측면에서 최신 기술 모델과 비교해 어떻게 성능을 내는가?
• RQ5 TNN는 트랜스포머와 CNN와 같은 기존 아키텍처를 포함하는 통합 프레임워크인가?

주요 결과

• TNN는 WikiText-103 언어 모델링 벤치마크에서 테스트 퍼플렉서티 23.98을 기록하여 베이스라인 트랜스포머와 기타 효율적인 어텐션 변종을 능가한다.
• Long-Range Arena 벤치마크에서 TNN는 1K 시퀀스 길이에서 최고의 추론 속도(초당 25.72단계)를 기록했으며, 테스트된 모든 시퀀스 길이에서 일관된 성능을 유지한다.
• 훈련 시 512토큰 시퀀스에서만 학습했음에도 불구하고 추론 시 14K토큰 시퀀스로 일반화하여 평균 퍼플렉서티 23.70을 기록함으로써 강력한 외삽 능력을 입증한다.
• 상대적 위치 인코더(RPE)는 RPE가 없는 TNN 변종 대비 2.47 PPL 향상으로 성능 향상을 보이며, 위치 인식 표현 학습의 효과성을 확인한다.
• 감쇠율 0.99로 설정한 지수 감쇠는 안정적인 외삽을 가능하게 하며, 감쇠 없음 또는 학습 가능한 감쇠는 성능 저하를 야기한다.
• 수학적으로 TNN는 트랜스포머, CNN, 상태공간 모델을 특수 케이스로 일반화함을 보여주며, 시퀀스 모델링의 통합적 시각을 확립한다.