[논문 리뷰] Investigating Efficiently Extending Transformers for Long Input Summarization

Jason Phang, Yao Zhao외 1명|arXiv (Cornell University)|2022. 08. 08.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 PEGASUS 모델의 568M 파라미터 확장판인 PEGASUS-X를 제안한다. 이 모델은 학습된 전역 토큰을 갖춘 단계적 블록 국소 attention 메커니즘을 사용하여 최대 16K 토큰까지의 긴 입력 요약을 효율적으로 처리한다. GovReport 및 PubMed에서 최신 기술 성능을 달성하면서도 짧은 입력에 대해서도 뛰어난 성능 유지를 보이며, 모델 병렬 처리 없이도 파라미터 수 증가가 최소화된 LongT5와 같은 훨씬 큰 모델들을 능가한다.

ABSTRACT

While large pretrained Transformer models have proven highly capable at tackling natural language tasks, handling long sequence inputs continues to be a significant challenge. One such task is long input summarization, where inputs are longer than the maximum input context of most pretrained models. Through an extensive set of experiments, we investigate what model architectural changes and pretraining paradigms can most efficiently adapt a pretrained Transformer for long input summarization. We find that a staggered, block-local Transformer with global encoder tokens strikes a good balance of performance and efficiency, and that an additional pretraining phase on long sequences meaningfully improves downstream summarization performance. Based on our findings, we introduce PEGASUS-X, an extension of the PEGASUS model with additional long input pretraining to handle inputs of up to 16K tokens. PEGASUS-X achieves strong performance on long input summarization tasks comparable with much larger models while adding few additional parameters and not requiring model parallelism to train.

연구 동기 및 목표

• 짧은 입력 컨텍스트를 가진 사전학습된 트랜스포머 모델을 장입력 요약에 적합하게 수정하기 위한 최적의 아키텍처 및 사전학습 수정 방법을 규명하는 것.
• 장문 시퀀스 모델링에서 모델 효율성, 메모리 사용량, 성능 간의 상호 교환 관계를 평가하는 것.
• 기존의 소형에서 중간 크기의 모델을 다시 훈련하지 않고도 장입력 처리가 가능한 실용적이고 저비용의 방법을 개발하는 것.
• 짧은 입력에서의 성능 저하를 최소화하면서도 장입력 요약 작업에서의 성능 향상을 극대화하는 것.
• 모델 병렬 처리가 필요 없고 큰 파라미터 수를 요구하지 않는 고성능의 파라미터 효율적 모델을 공개하여 장입력 요약에 활용할 수 있도록 하는 것.

제안 방법

• 메모리 및 계산 비용을 줄이면서도 장거리 모델링 능력을 유지하기 위해 단계적 블록 국소 attention 메커니즘을 채택한다.
• 전역 컨텍스트를 포착하기 위해 학습된 전역 토큰 임베딩을 도입하여, 시퀀스 길이를 늘리지 않고도 성능 향상을 이룬다.
• 짧은 입력 시퀀스로 사전학습된 PEGASUS 모델에서 초기화한 후, 장문 시퀀스(최대 16K 토큰)에서 추가 사전학습 단계를 적용한다.
• 성능 유지를 유지하면서 계산 오버헤드를 줄이기 위해 T5의 상대적 위치 편향 대신 사인파 위치 임베딩을 사용한다.
• ablation 연구를 통해 인코더-디코더 레이어 분포 및 attention 초모수를 최적화한다.
• 기존 PEGASUS 모델과 동일한 목표를 사용하여 장입력 요약 데이터셋에서 최종 모델을 미세조정한다.

실험 결과

연구 질문

• RQ1 장입력 요약에 적합한 효율적인 트랜스포머 아키텍처 변종 중에서 성능과 계산 효율성의 최적 균형을 이루는 것은 무엇인가?
• RQ2 짧은 입력 사전학습 모델에서 초기화한 후 장문 시퀀스에서 추가 사전학습을 수행하면, 단순 미세조정 대비 유의미하게 향상된 최종 성능를 달성할 수 있는가?
• RQ3 위치 인코딩 기법과 전역 토큰 통합 방식 등의 아키텍처 선택이 성능와 효율성에 어떤 영향을 미치는가?
• RQ4 작고 효율적인 모델이 모델 병렬 처리나 큰 파라미터 수 없이도 장입력 요약에서 최신 기술 성능을 달성할 수 있는가?
• RQ5 짧은 컨텍스트 모델을 장컨텍스트 아키텍처로 사전 적응시키는 것이 직접적인 미세조정 대비 성능 향상에 얼마나 기여하는가?

주요 결과

• 학습된 전역 토큰을 갖춘 단계적 블록 국소 트랜스포머는 장입력 요약에서 성능와 효율성의 최적 균형을 달성한다.
• 짧은 입력 사전학습 모델에서 초기화한 후 장문 시퀀스에서 추가 사전학습을 수행하면, 장문 전용 사전학습이나 적응 없이 미세조정하는 것보다 훨씬 뛰어난 최종 성능 향상을 이룬다.
• PEGASUS-X는 GovReport 및 PubMed 장입력 요약 벤치마크에서 최신 기술 성능을 달성하며, 파라미터 수가 더 적은 것으로도 LongT5와 같은 모델들을 능가한다.
• 짧은 입력 요약 작업에서 성능 저하가 최소한이므로, 다양한 입력 길이에 대한 일반화 능력이 뛰어나다.
• 성능의 약간의 감소로도 속도 향상이 두드러지는 사인파 위치 임베딩이 T5의 상대적 위치 편향보다 성능이 뛰어나 효율적 추론에 더 적합하다.
• 제안된 방법—짧은 컨텍스트 모델에서 초기화, 아키텍처 수정 적용, 장문 시퀀스 사전학습 추가—는 존재하는 모델을 장컨텍스트로 확장하는 데 매우 효과적이고 확장 가능하다.