[논문 리뷰] Large Associative Memory Problem in Neurobiology and Machine Learning

Dmitry Krotov, J. J. Hopfield|arXiv (Cornell University)|2020. 08. 16.

Machine Learning in Bioinformatics참고 문헌 33인용 수 56

한 줄 요약

이 논문은 은닉 뉴런을 가진 생물학적으로 타당한 두-바디(특징-기억) 신경망으로, 큰 연합 기억 용량을 달성하고 에너지 기반의 동적 시스템을 통해 Dense Associative Memory와 modern Hopfield networks를 통합한다.

ABSTRACT

Dense Associative Memories or modern Hopfield networks permit storage and reliable retrieval of an exponentially large (in the dimension of feature space) number of memories. At the same time, their naive implementation is non-biological, since it seemingly requires the existence of many-body synaptic junctions between the neurons. We show that these models are effective descriptions of a more microscopic (written in terms of biological degrees of freedom) theory that has additional (hidden) neurons and only requires two-body interactions between them. For this reason our proposed microscopic theory is a valid model of large associative memory with a degree of biological plausibility. The dynamics of our network and its reduced dimensional equivalent both minimize energy (Lyapunov) functions. When certain dynamical variables (hidden neurons) are integrated out from our microscopic theory, one can recover many of the models that were previously discussed in the literature, e.g. the model presented in "Hopfield Networks is All You Need" paper. We also provide an alternative derivation of the energy function and the update rule proposed in the aforementioned paper and clarify the relationships between various models of this class.

연구 동기 및 목표

• 생물학 및 AI에서 대용량 연상 기억이 필요함을 동기화한다.
• 에너지 함수를 보존하는 특징-은닉의 미시적 두 그룹 네트워크를 제안한다.
• 은닉 뉴런을 적분해 내면 알려진 dense/modern Hopfield 모델들이 회복됨을 보인다.
• 제안된 프레임워크가 여러 극한 케이스(모델 A, B, C)를 포함한다는 것을 증명한다.
• 역학을 따라 에너지가 감소하는 조건을 확립하여 고정점으로 수렴함을 보장한다.

제안 방법

• 특징 뉴런 Nf개와 은닉 뉴런 Nh개를 가진 이분형 연결 구조의 연속 시간(two-group) 네트워크를 도입한다.
• 대칭 가중치 xi_{i mu}를 통해 v_i와 h_mu를 연결하는 식 (1)으로 역학을 정의하고, Lyapunov 에너지 (2)를 보장한다.
• 출력을 래그랑지안 기능의 도함수로 표현한다 (f_mu = ∂L_h/∂h_mu, g_i = ∂L_v/∂v_i) 에너지가 감소하도록 (4).
• 일부 한계에서 은닉 뉴런을 소거하여 특징 레이어에 대한 유효 모델을 도출한다(섹션 3.1–3.3).
• 모델 A는 Dense Associative Memory(DAM) 및 Hopfield 한계에 도달함을 보이고; 모델 B는 현대 Hopfield/주의(attention)-유사 동역학을 산출하며; 모델 C는 구형(memory) 변형을 산출한다.
• 업데이트 규칙과 에너지 형태의 명시적 도출(식 (8)–(22))을 제공하고 주의 메커니즘(예: softmax 기반 상호작용)과 연결한다.

실험 결과

연구 질문

• RQ1 은닉 뉴런을 가진 두-바디 시냅스 구조가 특징 공간의 차원 N_f를 넘어서는 기억 저장 용량을 달성할 수 있는가?
• RQ2 은닉 뉴런을 적분해 내면 기존의 dense/modern Hopfield 모델과 주의(attention)와 유사한 동역학을 어떻게 회복하는가?
• RQ3 제안된 프레임워크의 극한 케이스(모델 A, B, C)는 무엇이며, 이것들이 알려진 네트워크와 어떻게 관련되는가?
• RQ4 네트워크 에너지가 감소하는 조건은 무엇이며, 고정점으로의 수렴을 보장하는가?
• RQ5 많은 바디 시냅스를 피하면서도 큰 기억 용량을 보존하는 것이 생물학적 타당성 측면에서 어떤 이점을 제공하는가?

주요 결과

• 은닉 뉴런과 이-바디(두-몸) 상호작용을 가지는 생물학적으로 타당한 아키텍처가 용량을 N_f를 넘는 저장 용량을 달성하며, Nh에 의해 상한이 정해진다(N_mem ≤ Nh).
• 빠른 은닉 동역학과 덧셈적 라그랑지안을 갖는 모델 A에서 에너지는 Hopfield 네트워크를 일반화하는 Dense Associative Memory 형태로 축소된다.
• 모델 B는 대조적 정규화(contrastive normalization)를 갖는 경우 현대 Hopfield/주의-유사 에너지 및 도트-곱 주의와 같은 업데이트 규칙을 연속 시간에서 얻는다.
• 모델 C는 분배(normalization-like) 특성을 가진 구형(memory) 변형을 도입하여 서로 다른 에너지와 역학을 낳고도 이원 간 상호작용을 유지한다.
• 이 프레임워크는 단일 에너지 기반 동역학 시스템의 극한 케이스로서 여러 이전 모델(DAM, 현대 Hopfield, 주의 메커니즘)을 하나로 통합한다.
• 래그랑지안의 양의 준정방 해시안에 대해 에너지가 궤적을 따라 감소하므로 고정점으로의 수렴을 보장한다.