[논문 리뷰] Linear Transformers Are Secretly Fast Weight Memory Systems

Imanol Schlag, Kazuki Irie외 1명|arXiv (Cornell University)|2021. 02. 22.

Topic Modeling참고 문헌 44인용 수 14

한 줄 요약

이 논문은 1990년대의 선형화된 자기주의 주의와 빠른 가중치 메모리 시스템 사이의 형식적 동치성을 규명하며, 현재의 선형 주의 변형에서의 메모리 용량 제한을 드러낸다. 새로운 업데이트 규칙과 커널 함수를 제안하여 동적 메모리 조작을 가능하게 하며, 검색, 번역, 언어 모델링 작업에서 향상된 성능을 입증한다.

ABSTRACT

We show the formal equivalence of linearised self-attention mechanisms and fast weight memories from the early '90s. From this observation we infer a memory capacity limitation of recent linearised softmax attention variants. With finite memory, a desirable behaviour of fast weight memory models is to manipulate the contents of memory and dynamically interact with it. Inspired by previous work on fast weights, we propose to replace the update rule with an alternative rule yielding such behaviour. We also propose a new kernel function to linearise attention, balancing simplicity and effectiveness. We conduct experiments on synthetic retrieval problems as well as standard machine translation and language modelling tasks which demonstrate the benefits of our methods.

연구 동기 및 목표

• 기존의 선형화된 소프트맥스 주의 메커니즘에서의 메모리 용량 제한을 규명하고 이를 해결하는 것.
• 1990년대 초반의 선형화된 자기주의 주의와 빠른 가중치 메모리 시스템 사이의 형식적 동치성을 수립하는 것.
• 표준 업데이트 규칙을 더 표현력 있는 대안으로 대체하여 동적 메모리 상호작용을 가능하게 하는 것.
• 선형화된 주의에서 단순성과 효과성의 균형을 이루는 새로운 커널 함수를 설계하는 것.
• 제안된 방법을 합성 검색 작업과 표준 NLP 벤치마크에서 검증하는 것.

제안 방법

• 빠른 가중치 메모리 메커니즘을 영감으로 받아, 메모리 내용의 동적 조작을 가능하게 하는 선형 주의의 새로운 업데이트 규칙을 제안한다.
• 선형 주의 메커니즘을 선형화하기 위한 새로운 커널 함수를 도입하여, 단순성과 성능 사이의 균형을 향상시킨다.
• 선형화된 자기주의 주의와 빠른 가중치 메모리 사이의 형식적 동치성을 활용하여, 제어 가능한 동역학을 갖는 메모리 시스템으로 주의를 재정의한다.
• 모델이 내부 메모리 상태를 능동적으로 수정하고 상호작용할 수 있도록 수정된 가중치 업데이트 메커니즘을 적용한다.
• 표준 벤치마크를 사용하여 기계 번역 및 언어 모델링을 포함한 시퀀스 모델링 작업에 수정된 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 선형화된 자기주의 주의와 1990년대 초반의 빠른 가중치 메모리 시스템 사이에 형식적인 수학적 동치성이 존재하는가?
• RQ2 기존의 선형화된 소프트맥스 주의 변형은 메모리 용량과 동역학 측면에서 어떤 한계를 지니는가?
• RQ3 수정된 업데이트 규칙이 주의 메커니즘에서 더 효과적이고 동적 메모리 조작을 가능하게 하는가?
• RQ4 제안된 커널 함수는 단순성과 효과성의 균형을 고려할 때 기존 접근 방식과 비교해 어떻게 다른가?
• RQ5 향상된 메모리 동역학은 표준 NLP 벤치마크에서 측정 가능한 성능 향상으로 이어지는가?

주요 결과

• 선형화된 자기주의 주의 메커니즘은 1990년대 초반의 빠른 가중치 메모리 시스템과 형식적으로 동치이다.
• 기존의 선형화된 소프트맥스 주의 변형은 고정된 업데이트 규칙로 인해 근본적인 메모리 용량 제한을 겪는다.
• 제안된 업데이트 규칙은 메모리의 동적 상호작용을 가능하게 하여 추론 중에 저장된 내용을 조작할 수 있다.
• 새로운 커널 함수는 주의의 선형화를 향상시키면서도 계산 효율성을 유지한다.
• 합성 검색 작업에서의 실험 결과, 모델이 연관적 재확인과 같은 복잡한 메모리 연산을 학습할 수 있었다.
• 표준 기계 번역 및 언어 모델링 작업에서 제안된 방법은 베이스라인 대비 경쟁력 있거나 향상된 성능을 달성했다.