[논문 리뷰] Associative Memories via Predictive Coding

Tommaso Salvatori, Yuhang Song외 6명|PubMed|2021. 09. 16.

Neural dynamics and brain function참고 문헌 46인용 수 31

한 줄 요약

생성적 예측 부호망 PCN이 어소시에이티브 메모리로 데이터를 어트랙터로 저장하고 손상되거나 부분 입력에서 원래 데이터를 검색하는 방식으로 제안되며, 복잡한 데이터에서 autoencoders 및 modern Hopfield networks를 능가하고 다중 모달 검색을 지원합니다.

ABSTRACT

Associative memories in the brain receive and store patterns of activity registered by the sensory neurons, and are able to retrieve them when necessary. Due to their importance in human intelligence, computational models of associative memories have been developed for several decades now. In this paper, we present a novel neural model for realizing associative memories, which is based on a hierarchical generative network that receives external stimuli via sensory neurons. It is trained using predictive coding, an error-based learning algorithm inspired by information processing in the cortex. To test the model's capabilities, we perform multiple retrieval experiments from both corrupted and incomplete data points. In an extensive comparison, we show that this new model outperforms in retrieval accuracy and robustness popular associative memory models, such as autoencoders trained via backpropagation, and modern Hopfield networks. In particular, in completing partial data points, our model achieves remarkable results on natural image datasets, such as ImageNet, with a surprisingly high accuracy, even when only a tiny fraction of pixels of the original images is presented. Our model provides a plausible framework to study learning and retrieval of memories in the brain, as it closely mimics the behavior of the hippocampus as a memory index and generative model.

연구 동기 및 목표

• 피질 예측에서 영감을 받은 생물학적으로 타당한 학습 프레임워크로 어소시에이티브 메모리를 동기 부여하고 모델링한다.
• 생성적 예측 부호망이 데이터를 어트랙터로 저장하고 손상된 입력에서 견고한 검색을 가능하게 함을 보여준다.
• 자연 이미지에서 역전파로 학습된 autoencoders 및 modern Hopfield networks에 비해 더 높은 검색 정확도와 강건성을 보여준다.
• 부분 데이터로부터의 재구성 및 다중 모달 검색(이미지에서 자막, 자막에서 이미지)의 가능성을 보여준다.

제안 방법

• 감각층과 다수의 은닉층 및 메모리 벡터를 갖는 생성적 예측 부호망(PCN)을 정의한다.
• Inference learning(IL)을 사용해 PCN을 학습한다. 이는 전역 에너지 E를 최소화하기 위한 추론 단계(값 노드를 업데이트하여 E를 최소화)와 E를 더 최소화하기 위한 가중치/메모리 업데이트 단계로 구성된다.
• 레이어 전반에 걸쳐 μ(예측)와 ε(오류)로 표현하고, 업데이트 규칙은 로컬하고 생물학적으로 타당한(E-기반 학습) 방식이다.
• 감각 입력이 학습 샘플로 고정될 때 에너지의 국소 최저값으로 수렴하여 학습 데이터를 어트랙터로 저장한다.
• 저장을 위한 추론 phase만 사용하여 검색: 입력 왜곡 -> 추론 실행 -> 읽어들인 감각 예측을 검색된 데이터로 간주한다.
• 이미지 재구성, 용량, 강건성에서 역전파로 학습된 autoencoders(AEs)와 modern Hopfield 네트워크(MHNs)와의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 생성적 예측 부호망이 데이터를 어트랙터로 저장하고 손상된 입력에서 이를 검색할 수 있는가?
• RQ2 PCN이 복잡한 데이터에 대해 autoencoders 및 modern Hopfield networks에 비해 더 우수한 검색 정확도와 강건성을 제공하는가?
• RQ3 PCN이 불완전한 데이터를 재구성하고 다중 모달 기억 작업(예: 이미지-설명) 수행이 가능한가?
• RQ4 더 깊은(더 많은 층) PCN이 메모리 용량과 재구성 품질을 증가시키는가?
• RQ5 PCN은 MHN 및 DANN과 비교했을 때 고차원 이미지 재구성 작업에서 어떤 차이를 보이는가?

주요 결과

• 생성적 PCN은 학습 데이터 포인트를 어트랙터로 저장하고 손상된 입력에서 원래 데이터를 검색하며, 같은 크기의 AE보다 저장 용량, 검색 정확도 및 강건성 측면에서 우수하다.
• Tiny ImageNet 및 CIFAR-10에서 PCN은 불완전한 데이터도 높은 정확도로 재구성하며, 픽셀의 일부만 제공될 때도 AE 및 MHN보다 우수하다.
• 더 깊은 PCN은 용량 및 재구성 성능을 증가시키며, 10-layer PCN은 부분 입력에서 다수의 이미지를 회수하고 과도하게 매개된 AE보다 우수한 성능을 보인다.
• PCN은 이질 연상 메모리 작업을 수행해 텍스트 설명으로부터 이미지를, 반대로도 검색하는 데 매우 작은 설명 벡터(예: 25차 자막 입력으로 3072 픽셀 이미지)를 사용한다.
• 현대 Hopfield 네트워크(HMN)와 비교했을 때 PCN은 일관되게 그럴듯한 기억을 검색하며, MHN은 기하급수적으로 많은 기억을 저장할 수 있을지라도 복잡하고 노이즈가 많거나 부분 입력에서 어려움을 겪는다.
• DANN과 비교했을 때 PCN은 부분 CIFAR-10 이미지에서 더 선명한 재구성을 제공하지만, DANN은 더 넓은 학습을 활용하여 전체 용량이 더 높을 수 있다.