[논문 리뷰] Adding Recurrence to Pretrained Transformers for Improved Efficiency and Context Size

Davis Yoshida, Allyson Ettinger외 1명|arXiv (Cornell University)|2020. 08. 16.

Topic Modeling참고 문헌 20인용 수 4

한 줄 요약

이 논문은 메모리나 계산량을 늘리지 않고도 사전 훈련된 트랜스포머 언어 모델의 성능을 향상시키기 위해 경량의 순환 모듈을 추가하는 방법을 제안한다. 이 모듈은 더 긴 컨텍스트를 처리하고 효율성을 높이면서도, 메모리나 계산량을 증가시키지 않는다. 한 창문에서 고정된 크기의 표현을 다음 창문으로 전달함으로써, 모델은 장거리 의존성을 유지하고, 동일한 계산 및 메모리 예산 내에서 표준 GPT-2를 미세조정한 결과보다 더 낮은 퍼플렉서티를 달성한다. 이는 PG-19와 WikiText-103에서 입증되었다.

ABSTRACT

Fine-tuning a pretrained transformer for a downstream task has become a standard method in NLP in the last few years. While the results from these models are impressive, applying them can be extremely computationally expensive, as is pretraining new models with the latest architectures. We present a novel method for applying pretrained transformer language models which lowers their memory requirement both at training and inference time. An additional benefit is that our method removes the fixed context size constraint that most transformer models have, allowing for more flexible use. When applied to the GPT-2 language model, we find that our method attains better perplexity than an unmodified GPT-2 model on the PG-19 and WikiText-103 corpora, for a given amount of computation or memory.

연구 동기 및 목표

• 사전 훈련된 트랜스포머의 미세조정에 필요한 메모리와 계산 비용을 줄이면서도 성능을 유지하거나 향상시키는 것.
• 표준 트랜스포머의 고정된 컨텍스트 크기 제한을 극복하여 더 긴 시퀀스를 처리할 수 있도록 하는 것.
• 기존의 사전 훈련된 모델(예: GPT-2)을 다양한 도메인과 언어에서 더 효율적이고 유연하게 사용할 수 있도록 하는 것.
• 학습 가능한 순환 메커니즘을 통해 비중첩 텍스트 창문 간에 장거리 문맥 정보를 전달할 수 있도록 하는 것.
• 기존에 훈련된 모델에 대해 재훈련 없이도 즉시 적용 가능한 플러그 앤 플레이 방식을 제공하는 것.

제안 방법

• 사전 훈련된 트랜스포머의 미세조정 과정에 순환 모듈을 추가하여, 각 입력 창문의 히든 상태에서 고정된 크기의 컨텍스트 표현을 계산한다.
• 이 표현은 다음 창문 처리 중 메모리 상태로 유지되어 창문 간의 정보 흐름을 가능하게 한다.
• 순환 메커니즘은 주의 메커니즘과 별개로 작동하므로, 원본 모델의 인덕티브 바이어스를 유지하면서도 효과적인 컨텍스트 길이를 연장한다.
• 추론 시에는 창문이 겹치지 않게(비중첩) 처리하지만, 순환 메커니즘이 이전 창문의 정보가 현재 예측에 영향을 주도록 한다.
• 순환 모듈은 표준적인 미세조정 방식으로 기존 모델과 함께 엔드 투 엔드로 훈련되며, 원본 트랜스포머의 아키텍처를 변경할 필요가 없다.
• 이 방법은 표준 미세조정과 동일한 메모리 프로파일을 유지하며, 계산량과 퍼플렉서티 사이에 제어 가능한 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 경량 순환 모듈이 메모리나 계산량을 늘리지 않고도 사전 훈련된 트랜스포머의 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련된 트랜스포머에서 비중첩 텍스트 창문 간에 순환 메커니즘이 얼마나 효과적으로 장거리 의존성을 전파할 수 있는가?
• RQ3 이 방법이 표준 트랜스포머의 고정된 입력 크기를 초월해 효과적인 컨텍스트 길이를 얼마나 연장할 수 있는가?
• RQ4 순환 메커니즘이 장문 텍스트 생성 작업에서 통일성과 참조 해소를 유지하는 데 기여하는가?
• RQ5 이 방법을 기존의 사전 훈련된 모델(예: GPT-2)에 적용하여 재훈련 없이도 장문 컨텍스트 작업에서 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 동일한 계산 및 메모리 예산 내에서 PG-19와 WikiText-103 벤치마크에서 표준 미세조정된 GPT-2보다 더 낮은 퍼플렉서티를 달성한다.
• 순환 모듈은 창문 간에 고수준의 주제 정보와 대명사 참조를 성공적으로 전파하였으며, 생성 샘플에서 정확한 대명사 사용을 통해 이를 입증하였다.
• 학습된 순환 메커니즘 덕분에 창문이 겹치지 않더라도 장거리 의존성을 개선하여 처리하는 데 성공하였다.
• 정성적 분석 결과, 순환 메커니즘이 핵심 정보인 캐릭터 정체성과 서사 구조를 유지하는 데 블로킹 포인트 역할을 한다.
• 이 방법은 원래 아키텍처가 허용하는 것보다 더 긴 컨텍스트에서 사전 훈련된 모델을 효과적으로 활용할 수 있도록 하여, 모델의 융통성과 적용 가능성을 높였다.
• 이 접근은 기존의 아키텍처 수정과 수직적(orthogonal)이며, 스parse attention이나 windowed attention과 같은 기법과 조합하여 추가 성능 향상을 이룰 수 있다.