[논문 리뷰] Memformer: A Memory-Augmented Transformer for Sequence Modeling

Qingyang Wu, Zhenzhong Lan외 4명|arXiv (Cornell University)|2020. 10. 14.

Topic Modeling인용 수 7

한 줄 요약

Memformer는 고정 크기의 외부 동적 메모리를 갖춘 메모리 보강형 Transformer를 도입하여 장기 시퀀스 모델링에서 선형 시간 복잡도와 일정한 메모리 공간 복잡도를 달성한다. 기록 기록기와 기록 독자, 그리고 새로운 메모리 재생 역전파(MRBP) 최적화 기법을 통해 자동회귀 작업에서 Transformer-XL 성능을 유사하게 유지하면서도 메모리 사용량을 8.1배 줄이고 추론 속도를 3.2배 빠르게 한다.

ABSTRACT

Transformers have reached remarkable success in sequence modeling. However, these models have efficiency issues as they need to store all the history token-level representations as memory. We present Memformer, an efficient neural network for sequence modeling, that utilizes an external dynamic memory to encode and retrieve past information. Our model achieves linear time complexity and constant memory space complexity when processing long sequences. We also propose a new optimization scheme, memory replay back-propagation (MRBP), which promotes long-range back-propagation through time with a significantly reduced memory requirement. Experimental results show that Memformer has achieved comparable performance compared to the baselines by using 8.1x less memory space and 3.2x faster on inference. Analysis of the attention pattern shows that our external memory slots can encode and retain important information through timesteps.

연구 동기 및 목표

• 표준 Transformer의 장기 시퀀스 모델링에서 발생하는 제곱형 계산 및 메모리 복잡도 문제를 해결한다.
• RNN 및 Transformer-XL과 같은 순환 모델의 장기 의존성 유지 능력에 한계가 있음을 극복한다.
• 큰 메모리 표현을 갖춘 자동회귀 모델에 대해 효율적인 훈련 및 추론을 가능하게 한다.
• 계산 및 메모리 비용을 줄이면서도 높은 성능을 유지하는 메모리 효율적인 아키텍처를 개발한다.

제안 방법

• 과거 토큰의 압축된 표현을 저장하는 외부 동적 메모리 모듈을 도입하여 일정한 메모리 공간 복잡도를 달성한다.
• 현재 입력에 기반해 메모리 슬롯을 업데이트하는 메모리 기록기와 오래된 정보의 유지 여부를 제어하는 기록 기반 메커니즘을 활용한다.
• 해결 과정에서 메모리 슬롯에 대한 어텐션을 수행하는 메모리 독자 모듈을 사용하여 이전 정보를 효율적으로 검색할 수 있도록 한다.
• 역전파 과정에서 메모리 비용을 줄이는 데 중점을 둔 새로운 최적화 기법인 메모리 재생 역전파(MRBP)를 제안한다.
• 메모리는 인코더에서만 업데이트되고 디코더에서만 접근되도록 하는 별도의 인코더 및 디코더 스택을 설계하여 아키텍처를 구성한다.
• 장기 의존성을 유지하면서도 메모리 크기를 줄이는 압축 기법을 적용하여 성능 저하 없이 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 고정 크기의 외부 메모리는 성능이 Transformer와 유사한 장기 시퀀스 모델링의 효율성을 향상시킬 수 있는가?
• RQ2 메모리 기록기의 어텐션 메커니즘이 장기 의존성을 효과적으로 압축하고 유지할 수 있는가?
• RQ3 제안된 MRBP 기법은 큰 메모리를 갖춘 순환 모델에서 역전파 과정 동안 얼마나 많은 메모리 소비를 줄일 수 있는가?
• RQ4 장기 시퀀스에서 Memformer는 Transformer-XL 및 Compressive Transformer에 비해 추론 속도와 메모리 효율성 측면에서 뛰어나게 성능을 냈는가?
• RQ5 다양한 메모리 크기와 메모리 슬롯 유형은 시간이 지남에 따라 정보의 유지 및 검색 능력에 어떤 영향을 미치는가?

주요 결과

• Memformer는 메모리 크기가 1,024일 때 Transformer-XL과 유사한 성능을 달성하면서도 메모리 공간 사용량을 8.1배 줄이고 추론 속도를 3.2배 빠르게 한다.
• 메모리 크기가 1,024일 때 Memformer는 WikiText-103에서 퍼플렉서티 20.53을 기록하여, 메모리 크기가 1,024인 Transformer-XL과 유사한 FLOPs를 갖는 Compressive Transformer를 능가한다.
• 메모리 크기를 512로 줄였을 때 성능이 크게 떨어졌고, 메모리 모듈을 완전히 제거했을 경우 퍼플렉서티는 25.57로 상승했다.
• 메모리 기록기 어텐션 분석 결과, 약 60~80%의 메모리 슬롯이 시간이 지나도 내용을 유지함을 확인하여 안정적인 장기 메모리 유지가 이루어지고 있음을 확인했다.
• m^{355} 유형의 메모리 슬롯은 입력 토큰에 대해 높은 어텐션을 보이며, 더 큰 기록 기반 편향(3.20)을 가지며 동적 또는 중요한 정보에 대해 신속하게 업데이트됨을 나타냈다.
• 시각화 결과, 메모리 슬롯이 명사어 및 동사와 같은 핵심 요소의 압축된 표현을 학습하고 있음을 확인하여 인간의 기억 인코딩 방식과 유사한 특성을 보였다.