[논문 리뷰] Linear Transformers Are Secretly Fast Weight Programmers

Imanol Schlag, Kazuki Irie외 1명|arXiv (Cornell University)|2021. 02. 22.

Neural Networks and Applications인용 수 24

한 줄 요약

이 논문은 1990년대의 Fast Weight Programmers (FWPs)와 선형화된 자기주의 메커니즘 사이의 공식적 동치성을 규명하며, 선형 트랜스포머가 키와 값의 덧셈 외적 곱을 통해 빠른 웨이트 메모리 프로그래밍을 암묵적으로 학습한다는 점을 드러낸다. 동적으로 메모리 편집이 가능하고 오버커버리지 영역에서 학습 성능을 향상시키는 델타 규칙 유사 업데이트 메커니즘을 제안하며, 최소한의 계산 오버헤드로 언어 모델링 및 기계 번역 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

We show the formal equivalence of linearised self-attention mechanisms and fast weight controllers from the early '90s, where a ``slow" neural net learns by gradient descent to program the ``fast weights" of another net through sequences of elementary programming instructions which are additive outer products of self-invented activation patterns (today called keys and values). Such Fast Weight Programmers (FWPs) learn to manipulate the contents of a finite memory and dynamically interact with it. We infer a memory capacity limitation of recent linearised softmax attention variants, and replace the purely additive outer products by a delta rule-like programming instruction, such that the FWP can more easily learn to correct the current mapping from keys to values. The FWP also learns to compute dynamically changing learning rates. We also propose a new kernel function to linearise attention which balances simplicity and effectiveness. We conduct experiments on synthetic retrieval problems as well as standard machine translation and language modelling tasks which demonstrate the benefits of our methods.

연구 동기 및 목표

• 선형화된 자기주의와 1990년대 초반에 등장한 Fast Weight Programmers (FWPs) 사이의 공식적 동치성을 규명하는 것.
• 순수하게 덧셈 외적 곱 업데이트에 의해 발생하는 선형 트랜스포머의 메모리 용량 제한 문제를 규명하고 해결하는 것.
• 델타 규칙에서 영감을 얻은 새로운 미분 가능 프로그래밍 명령어를 제안하여, FWP가 기존의 키-값 매핑을 경량으로 수정할 수 있도록 하여 동적으로 메모리 편집 능력을 향상시키는 것.
• 계산 효율성과 모델 성능의 균형을 잡는 간단하고 효과적인 새로운 커널 함수를 제안하여 자기주의를 선형화하는 것.
• 합성 검색 작업 및 표준 NLP 벤치마크(기계 번역 및 언어 모델링 포함)에서 제안된 방법을 경험적으로 검증하는 것.

제안 방법

• 논문은 선형 자기주의 메커니즘이 FWP와 공식적으로 동치임을 규명하며, 느린 네트워크가 스스로 생성한 키와 값의 순차적 덧셈 외적 곱을 통해 빠른 웨이트를 프로그래밍하는 방식으로 작동함을 설명한다.
• 순수한 덧셈 외적 곱 대신 델타 규칙 유사 업데이트 규칙을 도입하여, FWP가 경량으로 기존의 키에서 값으로의 매핑을 기울기 하강법을 통해 수정할 수 있도록 한다.
• 표준 덧셈 업데이트를 대체로, 오류 수정을 위한 델타 규칙을 닮은 미분 가능 명령어를 도입하여 적응형 메모리 편집을 가능하게 한다.
• softmax 자기주의 메커니즘을 선형화하기 위한 새로운 커널 함수를 제안하며, 효율적인 시퀀스 모델링을 위한 단순성과 효과성의 균형을 확보한다.
• 모델은 단절된 역전파를 통해 시간에 따라 훈련되며, 세그먼트 간에 빠른 웨이트 메모리를 유지하면서 기울기 계산 범위를 세그먼트 내부로 제한한다.
• 효율성을 확보하기 위해 커스텀 CUDA 커널을 사용하여 실험을 수행하였으며, 합성 및 실제 작업에서 표준 선형 트랜스포머, Performer, Transformer-XL과의 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 1990년대의 선형화된 자기주의 메커니즘과 Fast Weight Programmers (FWPs) 사이에 공식적 동치성이 존재하는가?
• RQ2 순수한 덧셈 외적 곱 업데이트 방식이 선형 트랜스포머의 메모리 용량에 미치는 제약은 무엇인가? 특히 오버커버리지 조건에서의 영향을 포함하여.
• RQ3 델타 규칙에서 영감을 얻은 업데이트 규칙이 FWP의 오버커버리지 영역에서 메모리 내용을 동적으로 편집할 능력을 향상시킬 수 있는가?
• RQ4 제안된 자기주의 선형화를 위한 커널 함수는 기존 방법 대비 단순성과 효과성 측면에서 어떻게 비교되는가?
• RQ5 향상된 FWP 메커니즘은 표준 언어 모델링 및 기계 번역 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 델타 규칙 업데이트를 사용한 델타 네트워크는 Wikitext-103에서 테스트 퍼플렉서티 27.4를 기록하여 기준선인 선형 트랜스포머를 초월하고, 상태 크기가 훨씬 작은 조건에서 Transformer-XL과도 동등한 성능을 달성한다.
• 델타 네트워크는 무한한 컨텍스트 길이 조건에서도 안정적인 성능을 유지한다. 반면 기준선인 선형 트랜스포머는 단순한 합계 업데이트 규칙으로 인해 오버커버리지 조건에서 성능이 붕괴된다.
• 모델은 13GB 메모리 사용량으로 63K 단어/초의 추론 속도를 기록하며, 표준 PyTorch 트랜스포머(33K 단어/초, 17GB)를 초월하고 Performer(57K 단어/초)와 유사한 성능을 기록한다.
• 제안된 커널 함수는 계산 효율성과 모델 성능의 균형을 유지하면서 선형 자기주의를 개선된 효과성과 단순성으로 가능하게 한다.
• FWP 관점 덕분에 모델은 동적 학습률을 학습하고 키-값 연결을 선택적으로 관리할 수 있어 장거리 컨텍스트 상황에서의 강건성을 향상시킨다.
• 합성 검색 작업과 실제 NLP 벤치마크에서 강력한 일반화 성능을 보이며, 기울기로 학습된 프로그래밍 명령어를 통한 동적 메모리 편집의 이점을 확인한다.