[논문 리뷰] Memformer: The Memory-Augmented Transformer

Qingyang Wu, Zhenzhong Lan외 2명|arXiv (Cornell University)|2021. 05. 04.

Topic Modeling참고 문헌 15인용 수 12

한 줄 요약

Memformer는 통합 메모리 메커니즘과 새로운 최적화 기법인 메모리 재생 역전파(Memory Replay Back-Propagation)를 사용하여 장기 시퀀스 모델링에서 O(n) 시간 복잡도와 O(1) 공간 복잡도를 달성하는 메모리 보강형 Transformer 아키텍처를 제안한다. WikiText-103에서 기존의 장기 범위 모델인 Transformer-XL과 Compressive Transformer를 능가하며, 장기 시퀀스에서 뛰어난 성능과 확장성을 입증한다.

ABSTRACT

Transformer models have obtained remarkable accomplishments in various NLP tasks. However, these models have efficiency issues on long sequences, as the complexity of their self-attention module scales quadratically with the sequence length. To remedy the limitation, we present Memformer, a novel language model that utilizes a single unified memory to encode and retrieve past information. It includes a new optimization scheme, Memory Replay Back-Propagation, which promotes long-range back-propagation through time with a significantly reduced memory requirement. Memformer achieves O(n) time complexity and O(1) space complexity in processing long sequences, meaning that the model can handle an infinite length sequence during inference. Our model is also compatible with other self-supervised tasks to further improve the performance on language modeling. Experimental results show that Memformer outperforms the previous long-range sequence models on WikiText-103, including Transformer-XL and Compressive Transformer.

연구 동기 및 목표

• 장기 시퀀스에서 Transformer의 자기주의(self-attention)의 제곱형 복잡도 문제를 해결하기 위해.
• 최소한의 메모리 사용으로 장기적인 시간을 거쳐 역전파를 효율적으로 수행하기 위해.
• 과거 정보를 효과적으로 인코딩하고 검색할 수 있는 통합 메모리 메커니즘을 설계하기 위해.
• 임의의 장기 시퀀스를 처리할 때 O(n) 시간 복잡도와 O(1) 공간 복잡도를 달성하기 위해.
• 언어 모델링 및 기타 자기지도 학습 과제에서 성능을 향상시키기 위해.

제안 방법

• 장기 시퀀스 전반에 걸쳐 문맥 정보를 저장하고 검색하기 위한 단일 통합 메모리 모듈을 도입한다.
• 역전파 시 시간을 거쳐 메모리 요구량을 줄이는 새로운 최적화 기법인 메모리 재생 역전파를 적용한다.
• 입력 토큰과 저장된 메모리 상태 양쪽에 주의를 기울이는 메모리 보강형 어텐션 메커니즘을 사용한다.
• 장기 의존성을 동적으로 인코딩하는 학습 가능한 메모리 업데이트 메커니즘을 적용한다.
• 메모리 재생을 통해 장기 시퀀스에 걸쳐 기울기 흐름이 유지되는 엔드 투 엔드 학습을 지원한다.
• 언어 모델링 성능 향상을 위해 자기지도 사전학습 목표와의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 통합 메모리 메커니즘이 장기 시퀀스에서 Transformer의 자기주의에 대한 계산 및 메모리 오버헤드를 줄일 수 있는가?
• RQ2 메모리 재생 역전파가 최소한의 메모리 프로필로 장기 시퀀스에서 안정적이고 효율적인 학습을 가능하게 하는가?
• RQ3 Memformer가 선형 시간 복잡도와 일정한 공간 복잡도를 달성하면서도 장기 컨텍스트 과제에서 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 Memformer는 표준 벤치마크에서 Transformer-XL과 Compressive Transformer와 같은 최첨단 장기 컨텍스트 모델과 비교해 어떻게 성능을 내는가?
• RQ5 Memformer는 언어 모델링 과제에서 자기지도 사전학습을 통해 어느 정도의 이점을 얻을 수 있는가?

주요 결과

• Memformer는 추론 시 임의의 장기 시퀀스를 효율적으로 처리할 수 있도록 O(n) 시간 복잡도와 O(1) 공간 복잡도를 달성한다.
• WikiText-103 벤치마크에서 Transformer-XL과 Compressive Transformer를 능가하며, 언어 모델링 성능 향상을 입증한다.
• 메모리 재생 역전파를 통해 표준 역전파 대비 크게 감소된 메모리 사용으로 장기 시퀀스에서 안정적인 학습이 가능하다.
• 통합 메모리 메커니즘은 계산 비용을 증가시키지 않으면서도 장기 의존성을 효과적으로 포착한다.
• Memformer는 다른 자기지도 사전학습 과제로 확장되어도 강력한 성능을 유지한다.
• 기존의 장기 컨텍스트 Transformer 변종 대비 확장성과 효율성의 우수한 이점을 보인다.