[논문 리뷰] Efficient Long-Text Understanding with Short-Text Models

Maor Ivgi, Uri Shaham외 1명|arXiv (Cornell University)|2022. 08. 01.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 SLED를 제안하며, 이는 사전 훈련된 인코더-디코더 모델(예: BART, T5)을 활용해 입력을 겹치는 청크로 분할하고 각 청크를 독립적으로 인코딩한 후, 사전 훈련된 디코더를 통해 표현을 융합함으로써 효율적으로 장문의 텍스트를 이해할 수 있도록 한다. SLED는 추가 훈련 없이도 모델 크기가 최대 50배 작고 전용 장문 처리 모델인 LongT5 base나 UL2를 능가하거나 맞먹는 성능을 달성한다.

ABSTRACT

Transformer-based pretrained language models (LMs) are ubiquitous across natural language understanding, but cannot be applied to long sequences such as stories, scientific articles and long documents, due to their quadratic complexity. While a myriad of efficient transformer variants have been proposed, they are typically based on custom implementations that require expensive pretraining from scratch. In this work, we propose SLED: SLiding-Encoder and Decoder, a simple approach for processing long sequences that re-uses and leverages battle-tested short-text pretrained LMs. Specifically, we partition the input into overlapping chunks, encode each with a short-text LM encoder and use the pretrained decoder to fuse information across chunks (fusion-in-decoder). We illustrate through controlled experiments that SLED offers a viable strategy for long text understanding and evaluate our approach on SCROLLS, a benchmark with seven datasets across a wide range of language understanding tasks. We find that SLED is competitive with specialized models that are up to 50x larger and require a dedicated and expensive pretraining step.

연구 동기 및 목표

• 정규 사전 훈련된 언어 모델이 장문의 시퀀스에 적용될 수 있는 문제를 해결하기 위해, 이는 제곱형 계산 복잡도로 인해 제한되기 때문이다.
• 장문 처리를 위해 고비용의 맞춤형 사전 훈련이 필요로 하는 전용 장문 처리 모델의 필요성을 없애기 위해 기존의 공개된 단문 모델을 재사용한다.
• 구조적 수정 없이 추가 훈련 없이도 강력한 장문 텍스트 성능을 달성할 수 있는 단순하고 일반화 가능한 프레임워크를 개발한다.
• 다양한 NLP 벤치마크의 장거리 의존성 요구 사항을 분석할 수 있는 진단 도구를 제공한다.
• 청크 기반 인코딩과 함께 디코더에서의 융합이 실제 작업에서 장거리 추론을 효과적으로 처리할 수 있음을 입증한다.

제안 방법

• 장문 입력 시퀀스를 고정 길이의 겹치는 청크로 분할하여 국소적 맥락의 연속성을 유지한다.
• 기존의 인코더-디코더 언어 모델(예: BART, T5)의 사전 훈련된 인코더를 사용해 각 청크를 독립적으로 인코딩한다.
• 모든 인코딩된 청크 표현을 사전 훈련된 디코더에 입력하여 모든 청크에 대한 액세스를 통해 크로스-청크 융합을 수행한다.
• 디코더의 자동회귀 생성 기능을 활용해 융합된 표현을 기반으로 최종 출력을 생성하며, 이는 Fusion-in-Decoder(FiD)를 모방하지만 장문 문서에 적합하게 조정된 방식이다.
• 백본 모델의 위치 인코딩을 각 청크별로 별도로 활용함으로써 임의의 입력 길이로의 일반화를 가능하게 한다.
• 경계에서 맥락을 유지하기 위해 겹치는 청크를 사용하고, 유효한 청크 토큰을 정의함으로써 가장자리 토큰에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 기존의 단문 모델을 재사용하는 단순하고 모듈화된 프레임워크가 전용 사전 훈련 없이도 경쟁 가능한 장문 텍스트 이해 성능를 달성할 수 있는가?
• RQ2 청크 기반 인코딩과 함께 디코더에서의 융합이 전용 장문 처리 아키텍처에 비해 장거리 추론에 얼마나 효과적인가?
• RQ3 SCROLLS와 같은 장문 텍스트 벤치마크가 원거리 비국소적 맥락에 얼마나 의존하는가? 어떤 작업은 더 깊은 크로스-청크 추론이 필요한가?
• RQ4 SLED의 성능는 모델 크기와 입력 길이에 따라 어떻게 스케일링되며, 최신 전용 모델과 비교해 어떻게 되는가?
• RQ5 SLED는 다양한 NLP 작업의 장거리 의존성 요구 사항을 분석할 수 있는 진단 도구로 활용될 수 있는가?

주요 결과

• SLED는 다양한 작업에서 사전 훈련된 모델의 SCROLLS 평균 점수를 6점 향상시켜 장문 맥락 벤치마크에서 강력한 일반화 능력을 입증한다.
• BART large - SLED는 장거리 의존성에 특화해 사전 훈련된 LongT5 base 모델과 유사한 성능을 달성하지만, 파라미터 수가 1/50에 불과하다.
• SLED는 SCROLLS 벤치마크에서 UL2(50배 더 큰 모델)를 능가하며, 효과적인 아키텍처 재사용을 통해 파라미터 효율성이 성능 저하 없이 유지됨을 보여준다.
• SLED는 훈련 데이터가 제한된 데이터셋에서 특히 뛰어난 성능을 보이며, 작은 장문 맥락 데이터셋에서 일반화 능력이 열악한 LED보다 뚜렷이 뛰어나다.
• 통제 실험을 통해 SLED가 장문 시퀀스 내에서 관련 정보를 정확히 위치시키고 독립적으로 인코딩된 청크의 정보를 효과적으로 융합할 수 있음을 확인했다.
• SLED를 활용한 분석 결과, SCROLLS의 QA 및 NLI 작업은 상대적으로 국소적 맥락화를 요구하는 반면, 요약 및 일부 NLI 작업은 장거리 융합에서 더 큰 이점을 얻는다.