[논문 리뷰] One-Shot Generalization in Deep Generative Models

Danilo Jimenez Rezende, Shakir Mohamed외 3명|arXiv (Cornell University)|2016. 03. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 75

한 줄 요약

이 논문은 피드백과 주의 메커니즘을 활용하여 한 번의 예시만으로도 새로운 개념의 다양한 현실적인 변형을 생성할 수 있는 순차적 딥 생성 모델의 클래스를 소개한다. 변동형 추론과 공간 트랜스포머, 계층적 잠재 변수를 결합함으로써, 이 모델은 이미지 생성 분야에서 최고 수준의 성능을 달성하며, 다양한 작업에서 놀라운 제로샷 및 소수 샘플 일반화 능력을 보여준다.

ABSTRACT

Humans have an impressive ability to reason about new concepts and experiences from just a single example. In particular, humans have an ability for one-shot generalization: an ability to encounter a new concept, understand its structure, and then be able to generate compelling alternative variations of the concept. We develop machine learning systems with this important capacity by developing new deep generative models, models that combine the representational power of deep learning with the inferential power of Bayesian reasoning. We develop a class of sequential generative models that are built on the principles of feedback and attention. These two characteristics lead to generative models that are among the state-of-the art in density estimation and image generation. We demonstrate the one-shot generalization ability of our models using three tasks: unconditional sampling, generating new exemplars of a given concept, and generating new exemplars of a family of concepts. In all cases our models are able to generate compelling and diverse samples---having seen new examples just once---providing an important class of general-purpose models for one-shot machine learning.

연구 동기 및 목표

• 최소한의 데이터에서 인간과 유사한 추론을 수행할 수 있는 딥 생성 모델을 개발하기 위해.
• 주목적과 피드백 메커니즘을 통합하여 딥 생성 모델의 데이터 효율성 문제를 해결하기 위해.
• 단일 관찰 후에나마 새로운 개념의 다양한 가능성이 있는 변형을 생성할 수 있는 순차적 생성 모델의 능력을 입증하기 위해.
• 표준 밀도 추정을 넘어서 유사성 추론과 누락 데이터 보정 기능을 포함한 변동형 오토인코더와 딥 생성 모델의 능력을 확장하기 위해.
• 최소한의 인덕티브 바이어스를 가진 일반 목적의 확률적 추론 프레임워크를 제공하고, 낮은 데이터 환경에서 강력한 일반화 능력을 확보하기 위해.

제안 방법

• 모델은 잠재 변수의 그룹에 대해 순차적 생성 과정을 사용하여 피드백을 통해 데이터 표현을 반복적으로 개선한다.
• 공간 주의 메커니즘은 미분 가능 공간 트랜스포머를 통해 구현되어 인코딩 및 디코딩 과정에서 관련 이미지 영역에 집중할 수 있도록 한다.
• 계층적 변동형 추론 프레임워크를 사용하여 복잡한 잠재 변수의 사후 분포를 근사함으로써, 소수의 예시에서라도 강력한 추론을 가능하게 한다.
• 모델은 재구성 기반 확률적 경사 하강법(재구성 기반 확률적 경사 하강법)을 사용하여 엔드 투 엔드로 훈련되며, 로그우도의 변동형 하한(ELBO)을 최대화한다.
• 피드백은 모델이 입력의 다양한 부분에 반복적으로 주목하고 재구성함으로써, 개선된 추론을 위한 '사고 시간'을 시뮬레이션한다.
• 다중 모odal 사후 근사값의 사용은 모델이 데이터 내 다양한 분리된 요인의 변화를 포착할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 생성 모델은 단 한 번의 예시만으로도 현실적으로 다양한 변형을 생성함으로써 한 번의 예시 일반화를 수행할 수 있는가?
• RQ2 낮은 데이터 환경에서 주의 메커니즘과 피드백 메커니즘이 딥 생성 모델의 일반화 및 생성 품질을 어떻게 향상시키는가?
• RQ3 계층적 잠재 변수를 가진 순차적 생성 모델은 표준 변동형 오토인코더보다 이미지 생성 및 밀도 추정에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 이러한 모델은 새로운 데이터에 대한 미세조정 없이도 유사성 추론과 누락 데이터 보정을 수행할 수 있는가?
• RQ5 한 번의 예시 일반화 작업에서 모델의 용량과 데이터 효율성 사이의 상충 관계는 어떠한가?

주요 결과

• 단 한 번의 예시만을 관찰한 후에도 모델은 새로운 개념에 대해 매우 다양하고 시각적으로 매력적인 샘플을 생성하며, 강력한 한 번의 예시 일반화 능력을 보여준다.
• 클래스당 5개의 훈련 예시(45-5 분할)만으로도 훈련 및 테스트 로그우도 간 격차가 작게 유지되어 과적합이 적고 일반화 능력이 뛰어나다는 것을 시사한다.
• 새로운 알파벳 생성 작업에서는 단일 예시에서 공통적인 구조적 특징을 성공적으로 추론하고 일관되며 타당한 새로운 문자를 생성한다.
• 조건 없이도 샘플링을 수행할 수 있으며, 어떠한 조건 없이도 다양한 클래스에서 현실적인 이미지를 생성한다.
• 공간 트랜스포머의 사용은 이미지 생성 및 일반화 성능을 크게 향상시키며, 특히 낮은 데이터 환경에서 두드러진다.
• 강력한 일반화 능력에도 불구하고, 모델은 추론 중에 파라미터를 업데이트하지 않기 때문에 한 번의 예시 학습을 수행하지는 않으며, 오직 한 번의 예시 추론만 수행한다.