[논문 리뷰] Attention Approximates Sparse Distributed Memory

Trenton Bricken, Cengiz Pehlevan|arXiv (Cornell University)|2021. 11. 10.

Ferroelectric and Negative Capacitance Devices참고 문헌 64인용 수 6

한 줄 요약

이 논문은 트랜스포머의 자기주의가 수학적으로 칸에바의 희박 분산 메모리(SDM)를 근사함을 보여준다. 이는 생물학적으로 타당한 연상 메모리 모델이며, 특히 미리 훈련된 GPT-2 모델에서 데이터 조건이 특정할 경우, 주의의 소프트맥스 연산이 SDM의 초구면 교차 메커니즘을 거의 정확히 모방한다. 이는 주의를 고차원 분산 메모리 검색의 한 형태로 보는 새로운 기계적이고 생물학적인 해석을 제공한다.

ABSTRACT

While Attention has come to be an important mechanism in deep learning, there remains limited intuition for why it works so well. Here, we show that Transformer Attention can be closely related under certain data conditions to Kanerva's Sparse Distributed Memory (SDM), a biologically plausible associative memory model. We confirm that these conditions are satisfied in pre-trained GPT2 Transformer models. We discuss the implications of the Attention-SDM map and provide new computational and biological interpretations of Attention.

연구 동기 및 목표

• 트랜스포머의 자기주의와 칸에바의 희박 분산 메모리(SDM) 간의 형식적 수학적 연결을 수립하는 것.
• 미리 훈련된 모델인 GPT-2와 같은 모델에서 주의의 구조적 및 기능적 성질이 실제 데이터 조건 하에서 SDM 원칙과 일치하는지 조사하는 것.
• 주의를 고차원 근사 검색 메커니즘으로 간주함으로써, 주의의 새로운 계산적이고 생물학적인 해석을 제공하는 것.
• 이 매핑이 주의의 성공, 해석 가능성, 그리고 뇌 내 신경적 구현 가능성에 미치는 영향을 탐색하는 것.

제안 방법

• 소프트맥스 주의 메커니즘과 SDM의 읽기 연산 간의 수학적 동치성을 유도하여, 주의에서의 지수의 합에 대한 지수 근사가 SDM의 고차원 초구면 교차에 해당함을 보여주는 것.
• 미리 훈련된 GPT-2 모델에서 SDM-주의 대응을 실증적으로 검증하기 위해 쿼리-키 정규화된 트랜스포머 버전을 사용하는 것.
• 다양한 수의 뉴런과 하밍 거리로 SDM을 시뮬레이션하여 노이즈 하에서 수렴성과 강건성을 테스트하고, 이진 및 연속형 SDM 변형을 비교하는 것.
• MNIST 및 CIFAR-10 데이터셋에서 SDM의 임계 거리를 향상시키기 위해 투영 행렬을 훈련하고, 일반화 능력과 성능 향상을 평가하는 것.
• 패턴 상관관계와 데이터 복잡성의 역할을 분석하기 위해, 저복잡도인 MNIST와 고복잡도인 CIFAR-10 데이터셋을 비교하여 SDM 수렴 행동을 분석하는 것.
• 코사인 유사도와 하밍 거리 지표를 사용하여 합성 및 실제 이미지 데이터셋에서의 검색 성능과 노이즈에 대한 강건성을 평가하는 것.

실험 결과

연구 질문

• RQ1 트랜스포머의 주의 메커니즘이 희박 분산 메모리(SDM)의 검색 과정을 수학적으로 어느 정도 근사하는가?
• RQ2 실제로 미리 훈련된 트랜스포머 모델인 GPT-2와 같은 모델에서 SDM-주의 대응을 위해 필요한 구조적 및 통계적 조건이 성립하는가?
• RQ3 MNIST와 CIFAR-10 간의 데이터 복잡성에 따라 SDM 기반 주의 근사 성능은 어떻게 달라지는가?
• RQ4 학습된 투영 행렬이 SDM의 임계 거리와 노이즈에 대한 강건성을 향상시킬 수 있으며, 이는 다양한 데이터셋에 일반화되는가?
• RQ5 주의를 분산 메모리 검색의 한 형태로 해석할 경우 생물학적 및 계산적 의미는 무엇인가?

주요 결과

• 소프트맥스 주의 메커니즘이 쿼리와 키가 정규화된 경우, SDM의 초구면 교차 연산을 매우 잘 근사한다. 이는 주의와 연상 메모리 간의 수학적 연결을 검증한다.
• 미리 훈련된 GPT-2 모델에서 주의-SDM 대응을 위해 필요한 조건들이 충족됨을 확인하여 이론적 매핑이 실질적으로도 성립함을 입증한다.
• MNIST 데이터는 복잡도가 낮아 SDM 기반 검색에서 더 나은 수렴성과 높은 강건성을 보이며, CIFAR-10은 더 높은 패턴 상관관계와 과적합 현상을 보인다.
• 학습된 투영 행렬은 MNIST 및 CIFAR-10 양쪽 모두에서 SDM의 임계 거리를 향상시키지만, 테스트 세트로의 일반화 능력은 제한되어 있어 훈련 데이터에 과적합됨을 시사한다.
• 뉴런 수가 적을수록 성능이 떨어지며, 연속형 SDM 변형은 이산형 SDM보다 유한한 뉴런 수에 더 민감한 편이다. 이는 더 작은 원형 교차를 유발하기 때문이다.
• SDM 프레임워크는 트랜스포머 전체를 더 깊이 있게 해석할 수 있게 하며, 주의가 고차원 연상 메모리 검색의 한 형태로 작동한다는 것을 시사한다.