[논문 리뷰] Variational Memory Addressing in Generative Models

Jörg Bornschein, Andriy Mnih외 2명|arXiv (Cornell University)|2017. 09. 21.

Topic Modeling참고 문헌 21인용 수 20

한 줄 요약

이 논문은 생성 모델에서 비모수적 메모리 버퍼의 스토케스틱 이산 주소 지정으로 메모리 읽기 연산을 다루는 변분 메모리 주소 지정 기법을 제안한다. 이는 변분 추론을 통한 효과적인 훈련을 가능하게 하며, 메모리 주소를 잠재 변수로 모델링하고 타겟 가이드드 어텐션을 사용함으로써, 큰 메모리 뱅크가 존재하더라도 강력한 소수 샘플 생성 및 추론 성능을 달성한다. 이는 Omniglot에서 소프트 어텐션 기반 모델들을 능가하며, 온도 안내 없이도 안정적인 성능을 유지한다.

ABSTRACT

Aiming to augment generative models with external memory, we interpret the output of a memory module with stochastic addressing as a conditional mixture distribution, where a read operation corresponds to sampling a discrete memory address and retrieving the corresponding content from memory. This perspective allows us to apply variational inference to memory addressing, which enables effective training of the memory module by using the target information to guide memory lookups. Stochastic addressing is particularly well-suited for generative models as it naturally encourages multimodality which is a prominent aspect of most high-dimensional datasets. Treating the chosen address as a latent variable also allows us to quantify the amount of information gained with a memory lookup and measure the contribution of the memory module to the generative process. To illustrate the advantages of this approach we incorporate it into a variational autoencoder and apply the resulting model to the task of generative few-shot learning. The intuition behind this architecture is that the memory module can pick a relevant template from memory and the continuous part of the model can concentrate on modeling remaining variations. We demonstrate empirically that our model is able to identify and access the relevant memory contents even with hundreds of unseen Omniglot characters in memory

연구 동기 및 목표

• 메모리 주소 지정을 잠재 변수로 간주함으로써 생성 모델에서 효과적인 메모리 검색을 해결하기 위해.
• 타겟 정보를 활용하여 정밀한 메모리 룩업을 가능하게 하는 변분 추론을 사용해 메모리 증강 생성 모델을 훈련시키기 위해.
• 성능 저하 없이 큰 메모리 뱅크(예: 2500+ 항목)에까지 확장 가능한 메모리 증강 모델을 설계하기 위해.
• 이산 주소에 대한 KL 발산을 통해 메모리 룩업에서의 정보 획득을 정량화하고, 메모리 기여도를 측정하는 원칙적인 방법을 제공하기 위해.
• 특히 메모리 콘텐츠가 서로 겹치지 않으며, 보간이 불가능한 경우에도 소수 샘플 생성 작업에서 효과적으로 일반화할 수 있도록 하기 위해.

제안 방법

• 모델은 메모리 읽기를 조건부 혼합 분포로 간주하며, 이산 주소 변수 a가 메모리 콘텐츠 m_a를 선택하고, 그에 따라 생성을 위한 연속 잠재 변수 z가 조건화된다.
• 메모리 주소를 추론하기 위해 변분 근사 q(a|x)를 사용하며, 입력 x와 메모리 콘텐츠 간의 유사도 측정을 통해 주소에 대한 어텐션 분포를 계산한다.
• 메모리 주소 모듈을 훈련하기 위해 암시적 변분 추론을 사용하여, 스토케스틱 주소 선택을 거쳐 기울기 기반 최적화가 가능하다.
• 생성 모델은 p(x|m_a, z)로 구조화되며, 여기서 m_a는 샘플된 주소 a에 기반해 메모리에서 검색된 것이고, z는 잔여 변동을 모델링하는 연속 잠재 변수이다.
• 근사 사후분포 q(a|x)와 사전분포 p(a) 사이의 KL 발산을 정규화 항으로 사용하며, 이는 메모리 사용에 대한 의미 있는 측정 기준이 된다.
• 훈련 중에 K개의 사후 샘플을 사용해 하드 어텐션(샘플링)을 지원함으로써, 큰 메모리 크기에서도 확장 가능하고 안정적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이산적이고 스토케스틱인 메모리 주소 지정 방식이 소수 샘플 학습에서 메모리 증강 생성 모델의 정확도와 강건성 향상에 기여할 수 있는가?
• RQ2 이산 메모리 주소에 대한 변분 추론 방식이 소프트 어텐션 기반 방법과 비교해 확장성과 성능 면에서 어떻게 다를 수 있는가?
• RQ3 이산 주소 변수에 대한 KL 발산이 메모리 사용과 모델 동작을 신뢰할 수 있는 지표로 기능할 수 있는가?
• RQ4 훈련 중에 볼 수 없었던 많은 수의 새로운 메모리 항목이 존재할 경우에도 모델이 높은 성능을 유지할 수 있는가?
• RQ5 메모리 콘텐츠가 서로 겹치지 않으며, 보간이 불가능한 경우에도, 온도 안내 없이 또는 아키텍처 수정 없이 효과적으로 일반화할 수 있는가?

주요 결과

• 16개의 클래스를 메모리에 포함한 5-way 1-shot Omniglot에서 89.6%의 소수 샘플 분류 정확도를 달성하였으며, 이는 소프트 어텐션 기반 모델들이 4개 이상의 클래스를 초과하면 급격히 성능이 떨어지는 것과 대비된다.
• 테스트 시 2500개의 메모리 항목을 사용했을 때, 훈련에 32개의 항목만 사용한 모델도 강력한 제로샷 전이 능력과 확장 가능성을 보였다.
• 온도 안내 없이도 높은 성능을 유지하였으며, p(a)와 q(a|x) 간의 상호작용이 자연스럽게 탐색과 이용의 균형을 이룬다.
• Omniglot 데이터셋에서 q(a|x)를 추론에 사용했을 때, 5-way 1-shot 분류에서는 91%, 5-shot 분류에서는 97%의 정확도를 달성하였다.
• 이산 주소 변수에 대한 KL 발산은 직관적인 행동을 보였다: MNIST에서는 낮은 값(낮은 수의 고유 구성 요소), Omniglot에서는 높은 값(많은 수의 고유 구성 요소)을 보이며 효과적인 메모리 사용을 나타낸다.
• 메모리 항목 수 M ≥ 48일 때 하드 어텐션 구현이 소프트 어텐션 기반 모델보다 빨라지며, 각 파라미터 업데이트에 대한 계산 오버헤드가 감소하기 때문이다.