[논문 리뷰] Learning Attractor Dynamics for Generative Memory

Yan Wu, Gregory Wayne외 2명|arXiv (Cornell University)|2018. 11. 23.

Music and Audio Processing인용 수 12

한 줄 요약

이 논문은 반복적 추론을 통한 역전파 없이도 강건한 기억 회복을 위한 액트로이드 역학을 학습하는 미분 가능 카네르바 메모리(DKM)를 제안한다. 변분 하한을 최대화함으로써 모델은 가능도 기반 리아프노프 함수를 유도하여 노이즈가 있거나 손상된 입력이 저장된 패턴으로 수렴하도록 유도하며, 학습 중 기울기 소실이 발생하지 않도록 하면서도 고품질의 노이즈 제거 및 생성 샘플링을 달성한다.

ABSTRACT

A central challenge faced by memory systems is the robust retrieval of a stored pattern in the presence of interference due to other stored patterns and noise. A theoretically well-founded solution to robust retrieval is given by attractor dynamics, which iteratively clean up patterns during recall. However, incorporating attractor dynamics into modern deep learning systems poses difficulties: attractor basins are characterised by vanishing gradients, which are known to make training neural networks difficult. In this work, we avoid the vanishing gradient problem by training a generative distributed memory without simulating the attractor dynamics. Based on the idea of memory writing as inference, as proposed in the Kanerva Machine, we show that a likelihood-based Lyapunov function emerges from maximising the variational lower-bound of a generative memory. Experiments shows it converges to correct patterns upon iterative retrieval and achieves competitive performance as both a memory model and a generative model.

연구 동기 및 목표

• 딥 러닝 시스템에서 노이즈와 간섭 상황에서도 강건한 기억 회복 문제를 해결하기 위해.
• 신경망에서 액트로이드 역학 학습을 방해하는 기울기 소실 문제를 극복하기 위해.
• 생물학적 및 이론적 모델을 영감으로 삼아 딥 러닝 프레임워크 내에서 반복적이고 동적 기억 회복을 가능하게 하기 위해.
• 유도된 가능도 기반 변분 목표함수로부터 자연스럽게 액트로이드 역학이 유도됨을 보여주기 위해.
• 반복적인 에너지 최소화를 통해 노이즈 제거 및 샘플 품질을 향상시킬 수 있음을 보여주기 위해, 심지어 훈련 중에 볼 수 없었던 노이즈 유형에 대해서도 성능을 보장하기 위해.

제안 방법

• 변분 하한(ELBO)을 최대화하는 방식으로 생성형 분산 메모리를 훈련함으로써 가능도 기반 리아프노프 함수를 도출한다.
• 기본 행렬 M을 전역 잠재 변수로 사용하고, 행렬 정규 분포 사전분포 p(M) = MN(R, U, I)를 설정함. 여기서 R은 평균이고 U는 행 방향 공분산이다.
• 쿼리 및 키 벡터로부터 계산된 어텐션 가중치 w(k)를 사용하여 가중 합으로 메모리 읽기를 수행함: z = Σ w(k)·M(k) + ξ.
• 훈련 후에 액트로이드 역학을 통해 반복적 회복을 가능하게 하기 위해, ELBO에 대한 기울기 상승을 통해 재구성 패턴을 갱신한다.
• 변분 하한의 음수를 기반으로 에너지 함수를 정의하며, 이는 손상된 입력이나 사전 분포에서의 샘플을 반복적으로 개선함에 따라 감소한다.
• 역동성을 시뮬레이션하지 않기 때문에 역전파를 동적 과정을 거치지 않으며, 오직 인코더, 디코더 및 메모리 파라미터만 훈련함으로써 기울기 소실 문제를 피한다.

실험 결과

연구 질문

• RQ1 반복적 추론을 위한 역전파 없이도 딥 생성형 메모리 모델에서 액트로이드 역학이 유도될 수 있는가?
• RQ2 가능도 기반 변분 목표함수는 자연스럽게 리아프노프 함수를 도출하여 저장된 패턴으로의 회복 안정성을 보장하는가?
• RQ3 이러한 모델은 훈련 중에 볼 수 없었던 노이즈(예: 소금과胡椒 노이즈 또는 가우시안 노이즈)에 의해 손상된 패턴을 강건하게 노이즈 제거할 수 있는가?
• RQ4 액트로이드 역학을 통한 반복적 개선이 생성 모델링에서 사전 분포로부터의 샘플 품질을 향상시키는가?
• RQ5 더 많은 반복을 수행함으로써 계산을 정밀도로 전환할 수 있으며, 이 과정에서 에너지가 일관되게 감소하는가?

주요 결과

• Omniglot 이미지에서 15%의 소금과胡椒 노이즈가 있는 매우 손상된 입력에서도 반복적 회복을 통해 정확한 패턴으로 수렴하는 것으로 확인되었다.
• 에너지가 변분 하한의 음수로 정의되며, 노이즈 제거 및 샘플링 과정에서 일관되게 감소함을 확인하여 액트로이드 역학의 존재를 확인하였다.
• 노이즈 제거된 Omniglot 패턴은 원본보다 더 깔끔하고 매끄럽게 복원되었으며, 효과적인 패턴 복원이 이루어졌음을 시사한다.
• 사전 분포에서의 초기 샘플은 품질이 낮았지만 반복 과정을 거치면서 점차 향상되었으며, 에너지가 시간이 지남에 따라 감소함을 관찰하였다.
• 특히 DMLab와 같은 더 큰 모델에서는 안정성의 저하 요인인 안장점으로 인해 에너지에 변동성이 있었지만, 전체적으로 수렴을 달성하였다.
• 역동성의 시뮬레이션을 훈련 중에 수행하지 않기 때문에 기울기 소실 문제를 피하며, 빠른 쓰기 기능을 갖춘 고용량 생성형 메모리의 안정적 훈련이 가능하다.