[논문 리뷰] Fast Adaptation in Generative Models with Generative Matching Networks

Sergey Bartunov, Dmitry Vetrov|arXiv (Cornell University)|2016. 12. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 12

한 줄 요약

이 논문은 매칭 네트워크에서 영감을 받은 어텐션 기반 매칭 메커니즘을 활용하여 소수의 조건부 데이터로 새로운 개념에 빠르게 적응할 수 있는 조건부 생성 모델인 생성 매칭 네트워크(GMNs)를 소개한다. GMNs는 오미니글롯에서 소수의 생성 및 소수의 분류 작업에서 최신 기술을 능가하며, 균일한 어텐션을 사용할 경우 1-shot 분류에서 90.8%의 정확도를 달성하고, 가짜 입력을 통해 샘플 품질을 크게 향상시킨다.

ABSTRACT

Despite recent advances, the remaining bottlenecks in deep generative models are necessity of extensive training and difficulties with generalization from small number of training examples. We develop a new generative model called Generative Matching Network which is inspired by the recently proposed matching networks for one-shot learning in discriminative tasks. By conditioning on the additional input dataset, our model can instantly learn new concepts that were not available in the training data but conform to a similar generative process. The proposed framework does not explicitly restrict diversity of the conditioning data and also does not require an extensive inference procedure for training or adaptation. Our experiments on the Omniglot dataset demonstrate that Generative Matching Networks significantly improve predictive performance on the fly as more additional data is available and outperform existing state of the art conditional generative models.

연구 동기 및 목표

• 재학습 없이도 새로운 데이터에 적응하는 데에 어려움을 겪는 딥 생성 모델의 한계를 해결하기 위해, 특히 데이터가 적은 환경에서의 적응 능력을 향상시키기 위해.
• 소수의 예시에서 학습할 때 고용량 모델에서 발생하는 치명적인 간섭과 과적합 문제를 극복하기 위해.
• 유사한 도메인에서의 소규모이고 다양한 데이터셋을 조건부로 사용하여 생성 분포를 즉각적으로 적응시킬 수 있도록 하기 위해.
• 원래는 분류적 소수의 학습을 위해 개발된 매칭 네트워크의 적용 범위를 비지도 및 조건부 생성 모델링으로 확장하기 위해.
• 명시적인 아키텍처 재학습 없이도 새로운 개념에 잘 일반화되는 스케일러블하고 비모수적 추론 메커니즘을 개발하기 위해.

제안 방법

• 소수의 지원 예제 $ \textbf{X} $ 를 조건부로 하여 생성 분포 $ p(\textbf{x}|\textbf{X}, \boldsymbol{\theta}) $ 를 정의하는 조건부 생성 모델인 GMN을 제안하며, 여기서 $ \textbf{X} $ 는 잠재 표현에 대한 어텐션 가중치를 계산하는 데 사용된다.
• 매칭 네트워크에서 유도된 어텐션 메커니즘을 비지도 생성 모델링에 적용하여, 조건부 집합 내에서 유사한 예제들 사이에서 동적으로 보간할 수 있도록 한다.
• 학습 가능한 임베딩으로서의 가짜 입력(pseudo-inputs)을 도입하여 잠재 공간의 안정성을 높이고 샘플 품질을 향상시키며, 명시적인 클래스 레이블이 필요로 하지 않는다.
• 인식 모델 $ q(\textbf{z}|\textbf{x}, \boldsymbol{\theta}) $ 를 예제 간에 공유함으로써 효율적으로 스케일링할 수 있도록, 약간의 추론을 사용한 변분 추론을 사용하여 훈련한다.
• 입력과 지원 집합 예제들 간의 유사도를 기반으로 어텐션 가중치를 계산하는 비모수적 매칭 절차를 구현하여, 재학습 없이도 빠른 적응이 가능하도록 한다.
• 같은 프레임워크를 통해 밀도 추정과 샘플 생성을 모두 가능하게 하며, 새로운 데이터가 추가될 때 생성 분포를 실시간으로 업데이트할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 소수의 예시만으로 새로운 개념에 즉각적으로 적응할 수 있는 생성 모델이 존재할 수 있는가?
• RQ2 어텐션 기반 매칭 메커니즘이 비지도 생성 모델링에서의 빠른 적응에 얼마나 효과적인가?
• RQ3 가짜 입력의 포함이 소수의 생성에서 샘플 품질과 일반화 능력 향상에 기여하는가?
• RQ4 GMNs가 생성 품질과 소수의 분류 정확도 양 측면에서 기존의 조건부 생성 모델을 능가할 수 있는가?
• RQ5 특히 개념이 혼합되거나 모호한 경우에도, 다양한 비균일한 조건부 데이터에 대해 모델의 성능은 얼마나 견고한가?

주요 결과

• 균일한 어텐션을 사용할 경우, GMNs는 오미니글롯에서 1-shot 지원 집합을 사용하여 소수의 분류 작업에서 90.8%의 정확도를 달성하며, 신경 통계학자(Neural Statistician) 및 1-shot VAE와 같은 모델들을 능가한다.
• 가짜 입력이 포함된 모델은 조건부 데이터에 더 가까운 더 현실적인 시각적 샘플을 생성하지만, 이는 약간의 예측 성능 저하를 수반한다.
• 가짜 입력이 없는 GMNs는 더 매끄러운 밀도 추정기이며, 분포 외부의 예제로의 일반화 능력이 더 뛰어나, 샘플 품질과 일반화 능력 사이의 상충 관계를 시사한다.
• 비모수적 매칭 메커니즘은 혼합된 클래스를 포함한 조건부 데이터가 존재할 때에도 효과적인 적응을 가능하게 하며, $ C_{\text{test}} = 2 $ 설정에서 기준 모델들을 크게 능가한다.
• 모델는 빠른 점진적 학습을 보이며, 예측 성능이 새로운 조건부 예제가 추가될수록 점차 향상되며, 재학습이 필요로 하지 않는다.
• 어텐션 메커니즘은 잠재된 클래스의 구조를 효과적으로 포착하며, 조건부 집합 내에서 유사하지 않은 다양한 데이터에 대해서도 간섭에 강건하다.