[논문 리뷰] LongT5: Efficient Text-To-Text Transformer for Long Sequences

Mandy Guo, Joshua Ainslie외 5명|arXiv (Cornell University)|2021. 12. 15.

Topic Modeling인용 수 6

한 줄 요약

LongT5는 성능 향상을 위해 입력 시퀀스 길이와 모델 크기를 동시에 늘리는 확장 가능한 트랜스포머 아키텍처를 소개한다. 이는 ETC의 국소/전역 주의 메커니즘을 모방하는 새로운 TGlobal 주의 메커니즘을 도입하며, 별도의 보조 입력 없이도 작동한다. 또한 PEGASUS 스타일의 사전학습을 채택하여 arXiv, PubMed, BigPatent 등 요약 및 질의응답 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 입력 토큰 수가 최대 16k에 이르게 된다.

ABSTRACT

Recent work has shown that either (1) increasing the input length or (2) increasing model size can improve the performance of Transformer-based neural models. In this paper, we present a new model, called LongT5, with which we explore the effects of scaling both the input length and model size at the same time. Specifically, we integrated attention ideas from long-input transformers (ETC), and adopted pre-training strategies from summarization pre-training (PEGASUS) into the scalable T5 architecture. The result is a new attention mechanism we call {\em Transient Global} (TGlobal), which mimics ETC's local/global attention mechanism, but without requiring additional side-inputs. We are able to achieve state-of-the-art results on several summarization tasks and outperform the original T5 models on question answering tasks.

연구 동기 및 목표

• 트랜스포머 모델에서 입력 길이와 모델 크기를 동시에 늘임으로써 성능 향상 여부를 탐색한다.
• 긴 시퀀스에서 전체 자기주의의 제곱형 계산 비용 문제를 해결하기 위해 효율적인 주의 메커니즘을 도입한다.
• 개념적 요약을 위한 PEGASUS 스타일의 사전학습을 변형하여 다양한 장문 시퀀스 작업에서의 성능 향상을 도모한다.
• 아키텍처의 대대적인 수정 없이도 장문 문서에 대한 확장 가능하고 고성능의 텍스트-텍스트 모델링을 가능하게 한다.
• 모델 아키텍처, 훈련 코드, 사전학습 체크포인트를 커뮤니티 사용을 위해 오픈소스로 제공한다.

제안 방법

• 표준 자기주의의 즉각적인 대체품인 TGlobal 주의를 도입한다. 이는 입력 토큰 그룹에서 실시간으로 전역 토큰을 생성함으로써 국소적 희소성 구조를 구현하며, 외부 보조 입력이 필요로 하지 않는다.
• 장문 시퀀스 작업에서의 성능 향상을 위해 PEGASUS 사전학습 목표를 변형한다: 핵심 문장을 마스킹하고, 마스킹된 영역을 자동회귀적으로 생성하도록 요구한다.
• T5 아키텍처에 TGlobal 주의를 인코더에만 적용하여, 기존 T5 파ip라인 및 추론 프레임워크와의 호환성을 유지한다.
• 이중 단계 훈련 전략을 사용한다: 먼저 스파나이즈 손상과 주요 문장 생성을 이용해 장문 문서에서 사전학습을 수행하고, 이후 하류 작업에서 미세조정을 실시한다.
• 메모리 제약 조건 하에서 가능한 한 입력 길이와 모델 크기를 동시에 확장한다.
• 계층적 주의 설계를 통해 국소 주의는 인접 토큰에 국한된 계산을 제한하고, 전역 토큰은 장거리 의존성 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 입력 길이와 모델 크기를 동시에 늘임으로써 장문 NLP 작업에서의 성능 향상이 크게 이루어질 수 있는가?
• RQ2 TGlobal 주의는 전체 자기주의 및 기타 희소 주의 메커니즘과 비교해 긴 시퀀스에서 성능 및 효율성 측면에서 어떻게 성과를 내는가?
• RQ3 PEGASUS 스타일의 사전학습은 요약을 초월해 장문 시퀀스 작업에서 일반화 능력을 향상시키는가?
• RQ4 장문 모델링에서 모델 크기, 입력 길이, 계산 비용 간의 상충 관계는 어떠한가?
• RQ5 수정된 T5 모델이 아키텍처 수정 없이도 장문 요약 및 질의응답 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• arXiv 요약 데이터셋에서 LongT5는 16k 입력 길이에서 R-L 기준 44.03 F1 점수로 최신 기술 수준(SOTA) ROUGE 점수를 달성했으며, 모든 베이스라인을 능가했다.
• PubMed 요약 작업에서는 16k 입력 길이에서 R-L 기준 46.56 F1 점수를 기록했으며, 이는 이전 최고 성능 모델(PSG)보다 1.53점 높은 성능이다.
• 제거 분석 결과, arXiv 및 PubMed 데이터셋 전반에서 PEGASUS 스타일의 사전학습(PSG)이 스파나이즈 손상(SC)보다 ROUGE 점수 1.2~1.5점 높게 기록했다.
• TGlobal 주의 덕분에 LongT5는 전체 주의와 비교해 성능 저하가 미미한 상태로 16k 입력 길이까지 확장되었으며, 제곱형 복잡도 감소를 유지했다.
• BigPatent, MediaSum, TriviaQA 등에서도 LongT5는 최신 기술 수준(SOTA) 성능을 기록하여 요약 외 응용 분야에서도 광범위한 적용 가능성을 입증했다.
• 모델은 장문 시퀀스에서의 미세조정 동안에도 강력한 성능 유지를 보이며, 복합적 확장 전략의 효과를 확인했다.