[논문 리뷰] Learning to Generate with Memory

Chongxuan Li, Jun Zhu외 1명|arXiv (Cornell University)|2016. 02. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 15

한 줄 요약

이 논문은 다양한 주의 메커니즘을 사용하여 외부 메모리를 변분 오토인코더와 통합하는 딥 생성 모델인 MEM-VAE를 제안한다. 이 모델은 비대칭 인식 네트워크를 통해 불변 표현 학습과 세부 정보 생성을 분리함으로써 생성 품질을 향상시킨다. 다양한 데이터셋에서 밀도 추정, 이미지 생성, 결측치 보정 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Memory units have been widely used to enrich the capabilities of deep networks on capturing long-term dependencies in reasoning and prediction tasks, but little investigation exists on deep generative models (DGMs) which are good at inferring high-level invariant representations from unlabeled data. This paper presents a deep generative model with a possibly large external memory and an attention mechanism to capture the local detail information that is often lost in the bottom-up abstraction process in representation learning. By adopting a smooth attention model, the whole network is trained end-to-end by optimizing a variational bound of data likelihood via auto-encoding variational Bayesian methods, where an asymmetric recognition network is learnt jointly to infer high-level invariant representations. The asymmetric architecture can reduce the competition between bottom-up invariant feature extraction and top-down generation of instance details. Our experiments on several datasets demonstrate that memory can significantly boost the performance of DGMs and even achieve state-of-the-art results on various tasks, including density estimation, image generation, and missing value imputation.

연구 동기 및 목표

• 하나의 하향식 추상화 과정에서 손실되는 局소 세부 정보를 유지하는 데에 한계를 가진 딥 생성 모델의 문제를 해결하기 위해.
• 모델 크기나 계산 부담을 늘리지 않고도 딥 생성 모델의 생성 품질을 향상시키기 위해.
• 외부 메모리와 주의 메커니즘을 갖춘 생성 모델의 엔드 투 엔드 훈련을 가능하게 하여 더 나은 표현 학습을 달성하기 위해.
• 비대칭 인식 네트워크를 통해 불변 특징 추출과 세부 정보 생성 간의 경쟁을 줄이기 위해.
• 밀도 추정, 이미지 생성, 그리고 결측치 보정 작업에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 큰 외부 메모리와 소프트 주의 메커니즘을 갖춘 딥 생성 모델을 도입하여 국소 세부 정보를 저장하고 검색한다.
• 데이터 가능성의 변분 하한을 최적화하기 위해 확률적 변분 추론 프레임워크를 사용한다.
• 생성 네트워크보다 단순한 비대칭 인식 네트워크를 사용하여 경쟁 없이 불변 특징를 추출한다.
• 메모리와 주의 메커니즘을 매끄러운 비선형 함수로 매개변수화하여 엔드 투 엔드 미분 가능성을 보장하고 훈련을 가능하게 한다.
• 스토케스틱 및 결정론적 레이어를 번갈아 적용하며, 각 결정론적 레이어에 메모리를 연결한다.
• 결측치 보정에 대해 마르코프 체인 추론 과정을 적용하여 잠재 요인과 결측 데이터를 반복적으로 개선한다.

실험 결과

연구 질문

• RQ1 외부 메모리와 주의 메커니즘이 딥 생성 모델의 생성 품질을 향상시킬 수 있는가?
• RQ2 메모리는 하향식 추상화 과정에서 손실되는 국소 세부 정보를 어떻게 유지하는가?
• RQ3 비대칭 인식 네트워크는 불변 특징 학습과 세부 정보 생성 간의 경쟁을 줄일 수 있는가?
• RQ4 제안된 모델은 밀도 추정과 이미지 생성 작업에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 다양한 노이즈 패턴 하에서 모델은 결측치 보정을 효과적으로 처리할 수 있는가?

주요 결과

• MEM-VAE는 배치 크기가 100인 경우 프리 패스트 데이터셋에서 테스트 로그 밀도 1330 nats를 기록하여 VAE의 1308 nats를 초월한다.
• 배치 크기가 10인 경우 MEM-VAE는 테스트 로그 밀도 1240 nats를 기록하여 VAE의 1055 nats를 상회함으로써 뛰어난 성능을 입증한다.
• MEM-VAE의 무작위 샘플은 VAE 샘플보다 항상 더 선명하고 세밀한 편이며, 특히 높은 노이즈 또는 낮은 배치 크기 조건에서 두드러진다.
• MNIST 데이터셋에서 MEM-VAE는 VAE 대비 RECT-12에서 2.9%, RAND-0.6에서 3.6%, HALF에서 2.0%의 MSE 감소를 기록한다.
• 정성적 결과에서는 MEM-VAE가 얼굴 표정과 구조적 세부 정보에서 더 일관되고 현실적인 이미지를 생성함을 보여준다.
• 모델은 밀도 추정, 이미지 생성, 결측치 보정을 포함한 모든 평가 작업에서 최신 기술 수준의 성능을 달성한다.