[논문 리뷰] Adapting Pretrained Text-to-Text Models for Long Text Sequences

Wenhan Xiong, Anchit Gupta외 3명|arXiv (Cornell University)|2022. 09. 21.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 BART와 같은 사전 훈련된 텍스트-투-텍스트 모델을 장문 처리 작업에 적응시키기 위한 조리법을 제시한다. 이는 블록 단위의 어텐션에 풀링을 추가한 방식, CommonCrawl에서 무작위로 연결된 단문서를 기반으로 한 사전 훈련, 그리고 길이가 변하는 스파이크를 포함한 마스킹 스파이크 예측 목적함수를 포함한다. 결과적으로 이 모델은 다섯 개인 장문 요약 벤치마크에서 최고 성능을 기록했으며, 장문 컨텍스트 질의응답에서도 경쟁력 있는 성능을 보이며 더 큰 모델을 능가한다.

ABSTRACT

We present an empirical study of adapting an existing pretrained text-to-text model for long-sequence inputs. Through a comprehensive study along three axes of the pretraining pipeline -- model architecture, optimization objective, and pretraining corpus, we propose an effective recipe to build long-context models from existing short-context models. Specifically, we replace the full attention in transformers with pooling-augmented blockwise attention, and pretrain the model with a masked-span prediction task with spans of varying length. In terms of the pretraining corpus, we find that using randomly concatenated short-documents from a large open-domain corpus results in better performance than using existing long document corpora which are typically limited in their domain coverage. With these findings, we build a long-context model that achieves competitive performance on long-text QA tasks and establishes the new state of the art on five long-text summarization datasets, often outperforming previous methods with larger model sizes. Our code has been released at https://github.com/facebookresearch/bart_ls.

연구 동기 및 목표

• 기존의 짧은 컨텍스트 사전 훈련 모델을 장문 처리 NLP 작업에 효과적이고 효율적으로 적응시키는 방법을 개발하기 위해.
• 모델 아키텍처, 사전 훈련 코퍼스, 최적화 목적함수의 영향이 장문 컨텍스트 성능에 미치는 영향을 조사하기 위해.
• 오픈 도메인 코퍼스에서 유래한 합성 장문 문서가 실제 장문 문서 컬렉션보다 사전 훈련에 더 효과적인지 확인하기 위해.
• 장문 컨텍스트 학습을 위한 다양한 사전 훈련 목적함수의 효과를 평가하기 위해.
• 하향 작업에서 더 큰 모델을 능가하거나 이를 충족시키는 강력하고 효율적인 장문 컨텍스트 모델을 구축하기 위해.

제안 방법

• 기본 트랜스포머의 표준 전체 자기 어텐션을 제거하고, 복잡도를 감소시키고 장문 시퀀스 처리를 가능하게 하기 위해 풀링을 추가한 블록 단위의 어텐션으로 대체한다.
• C4(C4) 코퍼스의 단문서를 무작위로 연결하여 가짜 장문 문서를 구성함으로써 대규모이고 다양한 사전 훈련 코퍼스를 만든다.
• 다양한 길이의 스파이크를 포함한 마스킹 스파이크 예측 목적함수를 사용해 사전 훈련함으로써 다양한 시퀀스 길이에 대한 일반화 능력을 향상시킨다.
• 기본 모델의 파라미터화를 변경하지 않으면서도 장거리 의존성 모델링 능력을 향상시키기 위해 인코더에 글로벌 토큰과 풀링 레이어를 통합한다.
• 기존의 짧은 컨텍스트 모델 가중치를 활용하고, 추가 사전 훈련을 통해 미세조정함으로써 비용이 많이 드는 초기 훈련을 피한다.
• 표준 텍스트-투-텍스트 프레임워크를 활용하여 요약 및 질의응답과 같은 하향 작업으로 직접 전이가 가능하도록 한다.

실험 결과

연구 질문

• RQ1 풀링을 추가한 블록 단위의 어텐션은 장문 컨텍스트 작업에서 다른 장거리 어텐션 메커니즘보다 우수한가?
• RQ2 큰 오픈 도메인 코퍼스에서 무작위로 연결된 단문서를 기반으로 한 사전 훈련이 기존의 장문 문서 코퍼스보다 더 효과적인가?
• RQ3 마스킹 스파이크 예측, 주요 문장 예측, 모델 기반 스파이크 예측 중 어떤 사전 훈련 목적함수가 장문 컨텍스트 작업에서 가장 높은 성능을 낼 수 있는가?
• RQ4 짧은 컨텍스트 사전 훈련 모델에서 유도된 모델이 초기 훈련 없이도 장문 요약 작업에서 최고 성능을 낼 수 있는가?
• RQ5 아키텍처, 코퍼스, 목적함수 중 어느 요소가 장문 컨텍스트 모델 성능에 가장 큰 기여를 하는가?

주요 결과

• 풀링을 추가한 블록 단위의 어텐션은 다수의 장문 컨텍스트 작업에서 글로벌 토큰과 슬라이딩 윈도우 어텐션과 같은 다른 장거리 메커니즘보다 뚜렷이 뛰어난 성능을 보였다.
• 특정 도메인에 특화된 책 컬렉션과 같은 정제된 장문 문서 코퍼스를 사용하는 것보다 C4에서 유래한 무작위로 연결된 단문서를 기반으로 한 사전 훈련이 더 높은 성능을 냈다.
• 길이가 변하는 스파이크를 포함한 마스킹 스파이크 예측 목적함수가 짧은 출력 작업과 긴 출력 작업 양쪽에서 최적의 균형을 이룩했으며, 다른 목적함수보다 뛰어난 성능을 보였다.
• 적용된 모델은 다섯 개인 장문 요약 벤치마크에서 새로운 최고 성능을 기록했으며, 세 개의 데이터셋에서 ROUGE-2 상대적 향상률이 10%를 초과했다.
• 상대적으로 작은 크기를 가졌음에도 불구하고 장문 컨텍스트 질의응답에서 더 큰 모델을 능가하는 성능을 보이며, 이 조리법의 효과성을 입증했다.
• 다양한 하향 작업 전반에 걸쳐 성능 향상이 일관되게 유지되어, 제안된 사전 훈련 조리법이 광범위하게 효과적임을 검증했다.