[논문 리뷰] The Kanerva Machine: A Generative Distributed Memory

Yan Wu, Greg Wayne외 2명|arXiv (Cornell University)|2018. 04. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 13

한 줄 요약

칸에바 머신은 칸에바의 희박 분산 메모리에서 영감을 얻은 미분 가능하고 생성적 메모리 모델로, 분석적으로 다룰 수 있는 베이지안 업데이트를 사용하여 빠르고 분산된 쓰기와 강력한 온라인 압축을 가능하게 한다. 계층적 변분 추론을 통해 데이터에 의존하는 사전을 학습하는 메모리 증강 VAE 프레임워크를 통해, 오미니글롯과 CIFAR-10에서 특히 훈련 안정성, 일반화 능력, 용량 면에서 DNC보다 뛰어나다.

ABSTRACT

We present an end-to-end trained memory system that quickly adapts to new data and generates samples like them. Inspired by Kanerva's sparse distributed memory, it has a robust distributed reading and writing mechanism. The memory is analytically tractable, which enables optimal on-line compression via a Bayesian update-rule. We formulate it as a hierarchical conditional generative model, where memory provides a rich data-dependent prior distribution. Consequently, the top-down memory and bottom-up perception are combined to produce the code representing an observation. Empirically, we demonstrate that the adaptive memory significantly improves generative models trained on both the Omniglot and CIFAR datasets. Compared with the Differentiable Neural Computer (DNC) and its variants, our memory model has greater capacity and is significantly easier to train.

연구 동기 및 목표

• 기존 메모리 증강 네트워크의 한계, 예를 들어 일반화 능력 부족과 하이퍼파rameter에 대한 민감성 문제를 해결하기 위해, 새로운 데이터에 신속히 적응할 수 있는 메모리 시스템을 설계한다.
• 슬롯 기반 메모리(예: DNC에서의 것)의 비효율성과 평균 기반 방법(예: 신경 통계학자)의 정보 손실 문제를 해결하기 위해, 분산되고 겹치는 메모리 표현 방식을 가능하게 한다.
• 깊이 있는 생성적 모델과 메모리 시스템을 통합하기 위해, 데이터에 의존하고 적응 가능한 사전을 갖춘 계층적 조건부 생성 모델로 메모리 시스템을 공식화한다.
• 기존 메모리 업데이트 방식의 최적화를 피하고, 오래된 내용의 유지와 새로운 데이터 저장 간의 최적 균형을 이루는 정확한 베이지안 업데이트 규칙을 통해 효율적이고 원리적인 메모리 업데이트를 가능하게 한다.
• 모델이 오미니글롯과 CIFAR-10에서 생성적 모델링 성능을 향상시키면서도, DNC보다 훨씬 훈련이 쉬운 점을 입증한다.

제안 방법

• 표준 사전 대신 생성적이고 분산된 메모리 저장소에서 유도된 메모리 의존성 사전으로 표준 VAE 프레임워크를 확장한다.
• 메모리가 풍부하고 데이터에 적응하는 사전을 제공하는 계층적 조건부 생성 모델을 사용하며, 잠재 코드는 상향식 인식 신호와 하향식 메모리 신호를 조합하여 형성된다.
• 학습 가능한 주소와 재구성 가능한 잠재 변수를 갖는 선형 가우시안 모델로 메모리를 구현하여, 미분 가능하고 분석적으로 다룰 수 있는 추론을 가능하게 한다.
• 핵심 혁신은 오래된 내용을 유지하고 새로운 데이터를 통합하는 데 최적의 균형을 이루는 베이지안 업데이트 규칙을 도출하여, 강력한 온라인 압축을 보장하는 것이다.
• 메모리 상태는 교환 가능한 에피소드의 로그우도에 대한 변분 하한을 최적화하여 종합적으로 훈련되며, 메모리 업데이트는 정확한 베이지안 추론을 통해 이루어진다.
• 메모리는 베이즈의 정리에 기반한 폐쇄형 해를 사용하여 업데이트되며, 업데이트 자체에 대한 기울기 기반 최적화를 피함으로써 훈련 안정성을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 데이터에 신속히 적응하면서도 훈련의 강건성과 확장성을 유지할 수 있는 메모리 시스템을 설계할 수 있는가?
• RQ2 원시 픽셀 저장이나 슬롯 기반 아키텍처에 의존하지 않고도 고용량과 효율적인 압축을 달성할 수 있는 메모리 모델은 어떻게 설계할 수 있는가?
• RQ3 분석적으로 다룰 수 있는 베이지안 업데이트 규칙을 사용하여 깊이 있는 생성적 모델에서 최적의, 미분 가능한 메모리 쓰기 기능을 실현할 수 있는가?
• RQ4 데이터에 의존하고 적응 가능한 사전을 갖춘 메모리 증강 VAE는 소수의 샘플로 구성된 이미지 데이터셋과 표준 이미지 데이터셋에서 생성적 모델링 성능을 향상시킬 수 있는가?
• RQ5 DNC와 신경 통계학자 같은 기존 모델과 비교할 때, 칸에바 머신은 훈련 안정성, 수렴 속도, 일반화 능력 면에서 어떻게 다른가?

주요 결과

• 칸에바 머신은 모든 테스트 하이퍼파ram터 설정에서 CIFAR-10에서 테스트 손실이 70 이하를 기록했으며, 최적 설정으로도 6번 중 2번의 실행에서 손실이 약 100에 머문 DNC보다 뚜렷이 뛰어나다.
• DNC와 달리, 학습률(3×10⁻⁵에서 3×10⁻⁴)과 배치 크기(8에서 64)의 넓은 범위에서 강력한 훈련 성능를 유지했으며, DNC는 하이퍼파ram터와 초기화에 매우 민감했다.
• 더 큰 에피소드로의 일반화에서 칸에바 머신은 재구성 손실의 변분 하한이 낮아 DNC보다 명확한 우위를 보였으며, 특히 클래스 수가 적고 높은 재현성 있는 에피소드에서 두드러졌다.
• 모델은 인코더, 주소, 그리고 베이지안 업데이트를 통해 데이터의 통계적 규칙성을 효과적으로 학습하여 원시 픽셀을 저장할 필요 없이 압축된 표현을 생성했다.
• 정확한 베이지안 업데이트 규칙을 사용함으로써, 백프로파게이션을 업데이트 과정을 거치지 않는 원리적인, 파rameter-free 메모리 쓰기 기능을 실현했으며, 이는 훈련 안정성과 효율성을 향상시켰다.
• 메모리 의존성 사전을 갖춘 계층적 생성 모델은 관측되지 않은 패턴의 효과적인 샘플링을 가능하게 했으며, 뇌과학에서 관찰된 구성적 기억 현상과 일관성을 보였다.