[논문 리뷰] Hierarchical Associative Memory

Dmitry Krotov|arXiv (Cornell University)|2021. 07. 14.

Neural Networks and Applications참고 문헌 31인용 수 12

한 줄 요약

이 논문은 깊이가 임의로 설정 가능하고 밀도 있는 연결과 컨volutional 연결이 혼합된 완전히 순환적인 다층 연상 메모리 모델인 계층적 연상 메모리(Hierarchical Associative Memory, HAM)를 소개한다. 이는 라그랑주 역학을 활용해 전역 에너지 함수를 유도함으로써 고정점 흡인자를 햖थ한 수렴성을 보장하며, 생물학적으로 타당하고 엔드 투 엔드로 훈련 가능한 바닥에서부터 위로, 그리고 위에서부터 아래로의 동역학을 통해 계층적 메모리 조립을 가능하게 한다.

ABSTRACT

Dense Associative Memories or Modern Hopfield Networks have many appealing properties of associative memory. They can do pattern completion, store a large number of memories, and can be described using a recurrent neural network with a degree of biological plausibility and rich feedback between the neurons. At the same time, up until now all the models of this class have had only one hidden layer, and have only been formulated with densely connected network architectures, two aspects that hinder their machine learning applications. This paper tackles this gap and describes a fully recurrent model of associative memory with an arbitrary large number of layers, some of which can be locally connected (convolutional), and a corresponding energy function that decreases on the dynamical trajectory of the neurons' activations. The memories of the full network are dynamically "assembled" using primitives encoded in the synaptic weights of the lower layers, with the "assembling rules" encoded in the synaptic weights of the higher layers. In addition to the bottom-up propagation of information, typical of commonly used feedforward neural networks, the model described has rich top-down feedback from higher layers that help the lower-layer neurons to decide on their response to the input stimuli.

연구 동기 및 목표

• 기존의 현대 히프필드 네트워크는 단일층, 완전 연결 아키텍처에 국한되어 있어 기계 학습에서 표현 능력이 제한되어 있다는 점을 해결하기 위해.
• 임의의 깊이와 혼합 연결성(밀도 및 컨volutional 포함)을 갖춘 다층 순환 연상 메모리 모델을 개발하여 더 풍부한 인덕티브 바이어스를 지원하기 위해.
• 라그랑주 역학을 통해 유도된 리아프노프 함수를 통해 고정점 흡인자로의 수렴을 보장하는 전역 에너지 함수를 수립하기 위해.
• 생물학적 신경 처리를 모방하는 바닥에서부터 위로, 그리고 위에서부터 아래로의 정보 흐름을 가능하게 하면서도 수학적 엄밀성과 생물학적 타당성을 유지하기 위해.
• 역행 불가능한 활성화 함수가 필요로 하지 않는 일반적인 형식을 제공하여 스케일 연결, 횡방향 연결, 게이팅 유닛 등 새로운 아키텍처를 지원하기 위해.

제안 방법

• 각 뉴런의 활성화 함수와 시간 상수를 고려한 완전 연결 현대 히프필드 네트워크의 역학을 기술하기 위해 라그랑주 함수를 사용하여 일반화된 에너지 함수를 유도한다.
• 각 층이 동일한 활성화 함수와 시간 상수를 갖는 계층적 다층 네트워크로 라그랑주 수식을 확장하여 모듈러한 메모리 표현을 가능하게 한다.
• 라그랑주 함수의 기울기를 기반으로 각 층에 대한 명시적 동역학 방정식을 구성하여 에너지 함수가 궤적을 따라 단조 감소하도록 보장한다.
• 피드백 가중치가 피드포워드 가중치의 전치와 같도록 조건을 도입하여 전역적이고 아래로 유계인 에너지 함수의 존재를 보장한다.
• 고차원 층에서 저차원 층의 동역학을 지시하는 상향 피드백을 가능하게 하여, 하위 층에 저장된 원소들로부터 흡인자를 조립할 수 있도록 한다.
• 일반적으로 에너지 함수 유도 과정에서 문제가 되는 역행 불가능한 활성화 함수(예: 소프트맥스)가 필요로 하지 않도록, 직접적으로 라그랑주 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 수렴성이 보장되는 동역학과 전역 에너지 함수를 갖춘 다층 순환 연상 메모리 모델을 구축할 수 있는가?
• RQ2 고차원 층이 하위 층에 저장된 원소들을 조립하는 규칙을 인코딩하는 방식으로 계층적 메모리 조립을 어떻게 달성할 수 있는가?
• RQ3 밀도 및 컨volutional 연결이 혼합된 아키텍처를 유지하면서도 에너지 기반 수렴성과 생물학적 타당성을 보존할 수 있는가?
• RQ4 특히 트랜스포머와 같은 현대 아키텍처에서 중요한 소프트맥스나 대비 정규화를 사용할 경우, 에너지 함수 유도 과정에서 역행 불가능한 활성화 함수의 필요성을 피할 수 있는가?
• RQ5 상향 피드백의 포함이 깊이 있는 연상 네트워크에서 패턴 복원 및 메모리 검색 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 계층적 연상 메모리(Hierarchical Associative Memory, HAM) 모델은 임의의 깊이와 혼합 연결성(컨volutional 레이어 포함)을 지원하여 현대 히프필드 네트워크의 적용 범위를 확장한다.
• 에너지 함수가 궤적을 따라 단조 감소하므로 고정점 흡인자로의 수렴이 보장된다.
• 라그랑주 역학을 통해 에너지 함수가 도출되어 소프트맥스나 대비 정규화를 사용하는 모델에서 문제가 되는 역행 불가능한 활성화 함수가 필요로 하지 않는다.
• 고차원 층의 '조립 규칙'을 사용하여 하위 층의 원소들로부터 흡인 상태가 동적으로 조립되며, 이는 모듈러하고 재사용 가능한 메모리 표현을 가능하게 한다.
• 바닥에서부터 위로, 그리고 위에서부터 아래로의 정보 흐름을 모두 지원하여 표준 피드포워드 네트워크보다 더 풍부한 동역학을 가능하게 한다.
• 이 형식은 스케일 연결, 횡방향 연결, 게이팅 유닛을 갖춘 새로운 아키텍처의 설계를 가능하게 하며, 에너지 기반 수렴성을 유지한다.