[논문 리뷰] Universal Hopfield Networks: A General Framework for Single-Shot Associative Memory Models

Beren Millidge, Tommaso Salvatori외 3명|arXiv (Cornell University)|2022. 02. 09.

Neural Networks and Applications인용 수 7

한 줄 요약

이 논문은 히프리지 네트워크, 희소 분산 기억장치, 그리고 현대적인 연속 히프리지 네트워크와 같은 단일 스탑 연상 기억 모델을 통합하는 일반적인 프레임워크인 유니버설 히프리지 네트워크(UHN)를 소개한다. 기억 회복을 유사도, 분리, 투영 연산으로 분해함으로써, 이 프레임워크는 유클리드 또는 맨하탄 거리를 유사도 함수로 사용할 경우 기존의 내적 기반 유사도보다 기억 회복의 강건성과 기억 용량을 크게 향상시킴을 보여주며, 실증 평가에서 기존 모델을 능가한다.

ABSTRACT

A large number of neural network models of associative memory have been proposed in the literature. These include the classical Hopfield networks (HNs), sparse distributed memories (SDMs), and more recently the modern continuous Hopfield networks (MCHNs), which possesses close links with self-attention in machine learning. In this paper, we propose a general framework for understanding the operation of such memory networks as a sequence of three operations: similarity, separation, and projection. We derive all these memory models as instances of our general framework with differing similarity and separation functions. We extend the mathematical framework of Krotov et al (2020) to express general associative memory models using neural network dynamics with only second-order interactions between neurons, and derive a general energy function that is a Lyapunov function of the dynamics. Finally, using our framework, we empirically investigate the capacity of using different similarity functions for these associative memory models, beyond the dot product similarity measure, and demonstrate empirically that Euclidean or Manhattan distance similarity metrics perform substantially better in practice on many tasks, enabling a more robust retrieval and higher memory capacity than existing models.

연구 동기 및 목표

• 고전적 히프리지 네트워크, 희소 분산 기억장치, 현대적 연속 히프리지 네트워크와 같은 다양한 연상 기억 모델을 단일 이론적 프레임워크로 통합하는 것.
• 단일 스탑 연상 기억의 핵심 계산 연산인 유사도, 분리, 투영의 역할을 명확히 하는 것.
• Krotov와 Hopfield의 에너지 기반 모델을 일반 에너지 함수로 확장하여 局부 신경 동역학에 대해 리아푸노프 함수가 되도록 하는 것.
• 비내적 기반 유사도 함수(예: 유클리드, 맨하탄)가 연상 기억 성능에 미치는 영향을 실증적으로 조사하고, 그 슈퍼리오리티를 입증하는 것.
• 이 프레임워크가 트랜스포머 모델에 미치는 영향을 탐색하며, 자기주의 기반 메커니즘에 내적 기반 대신 다른 유사도 함수를 도입할 수 있음을 제안하는 것.

제안 방법

• 메모리 매트릭스 M(N×I)와 투영 매트릭스 P(O×N)로 파arameter화된 일반 연상 기억 함수 UHN: R^I → R^O를 제안하며, 이는 자동 및 이방 연상 기억을 모두 가능하게 한다.
• UHN을 세 단계의 순차적 연산으로 분해한다: (1) 쿼리와 저장된 메모리 간의 유사도 계산, (2) 점수 간 차이를 증폭시키기 위한 분리, (3) 투영 매트릭스를 사용한 출력 생성.
• 국부적 신경 계산에 대해 안정된 동역학을 보장하는 리아푸노프 함수가 되는 일반 에너지 함수를 유도하며, Krotov와 Hopfield의 프레임워크를 확장한다.
• 다양한 유사도 및 분리 함수를 설정함으로써 기존의 모든 모델(HN, SDM, MCHN, MCSDM)을 UHN의 특수한 경우로 표현한다.
• 다양한 유사도 함수(내적, 유클리드, 맨하탄)를 사용하여 UHN을 실현하고, 연상 기억 작업에서 성능을 평가하여 회복 정확도와 용량을 비교한다.
• 실증 실험을 통해 유클리드 및 맨하탄 유사도 함수가 노이즈 또는 손상된 쿼리 상황에서 내적 유사도보다 강건성과 용량 면에서 뛰어남을 입증한다.

실험 결과

연구 질문

• RQ1 다양한 연상 기억 모델을 그 핵심 계산 구조를 포괄하는 단일 이론적 프레임워크로 통합할 수 있는가?
• RQ2 분리 함수가 회복 용량과 강건성에 미치는 역할은 무엇이며, 고전적 모델과 현대적 모델 간에 어떻게 다를 수 있는가?
• RQ3 유클리드 또는 맨하탄 거리와 같은 대체 유사도 함수가 내적 기반 유사도보다 연상 기억 성능에서 슈퍼리어할 수 있는가?
• RQ4 연상 기억 모델의 이론적 용량이 유사도 함수의 선택에 의존하는가? 만약 그렇다면, 어떤 방식으로 의존하는가?
• RQ5 이 프레임워크의 통찰은 내적 기반 어텐션을 다른 유사도 지표로 대체함으로써 트랜스포머의 어텐션 메커니즘 설계를 향상시킬 수 있는가?

주요 결과

• 유클리드 및 맨하탄 거리 유사도 함수는 노이즈 또는 손상된 쿼리 상황에서 표준 내적 기반 유사도보다 연상 기억 회복에서 뚜렷이 슈퍼리어하다.
• 비내적 기반 유사도 함수의 사용은 기억 용량과 강건성을 증가시켜 실용적 환경에서 더 정확한 회복을 가능하게 한다.
• 강력한 분리 함수를 사용할 경우 이방 및 자동 연상 기억의 회복 용량이 동일하다는 프레임워크의 예측은 부록에서 실증적으로 확인되었다.
• 프레임워크에서 유도된 일반 에너지 함수는 리아푸노프 함수로 작용하여 국부적 신경 계산 하에서 안정된 동역학을 보장하며, 모델의 이론적 타당성을 검증한다.
• 초기 실험 결과에 따르면 맨하탄 및 유클리드 거리 유사도가 소규모 트랜스포머에서 내적 기반 어텐션과 경쟁 가능하며, 어텐션 메커니즘에 광범위하게 적용될 잠재력이 있음을 시사한다.
• 프레임워크는 중간 표현의 희소성에 따라 연상 기억과 표준 피드포워드 네트워크 사이에 연속선이 존재함을 드러내며, 생물학적 타당성에 대한 함의를 지닌다.