[논문 리뷰] A Brief Introduction to Generative Models

Alex Lamb|arXiv (Cornell University)|2021. 02. 27.

Reinforcement Learning in Robotics참고 문헌 22인용 수 11

한 줄 요약

이 논문은 기계학습에서 생성 모델의 기초적인 개요를 제공하며, 진정한 데이터 분포 $p(x)$를 매개변수화된 분포 $q_\theta(x)$를 통해 추정함으로써 현실적인 데이터를 합성할 수 있도록 하는 확률 모델로 생성 모델을 프레임워크화한다. 이는 소수의 예시 학습, 반사적 생성을 통한 모델 해석성 향상, 그리고 KL 발산과 적대적 목표 함수와 같은 통계적 발산을 통한 훈련의 정식화를 통해 그 역할을 강조하며, 변분 추론과 생성 적대 신경망의 통합을 포함한 주요 기여를 한다.

ABSTRACT

We introduce and motivate generative modeling as a central task for machine learning and provide a critical view of the algorithms which have been proposed for solving this task. We overview how generative modeling can be defined mathematically as trying to make an estimating distribution the same as an unknown ground truth distribution. This can then be quantified in terms of the value of a statistical divergence between the two distributions. We outline the maximum likelihood approach and how it can be interpreted as minimizing KL-divergence. We explore a number of approaches in the maximum likelihood family, while discussing their limitations. Finally, we explore the alternative adversarial approach which involves studying the differences between an estimating distribution and a real data distribution. We discuss how this approach can give rise to new divergences and methods that are necessary to make adversarial learning successful. We also discuss new evaluation metrics which are required by the adversarial approach.

연구 동기 및 목표

• 생성 모델링의 인지적 및 실용적 동기를 설명하기 위해, 인간 학습에서의 '자극의 빈곤 문제'를 포함한다.
• KL 발산과 같은 통계적 발산을 사용하여 생성 모델링을 확률 밀도 추정 문제로 정식화하기 위해.
• 반사적 생성을 통해 생성 모델이 분류 모델의 평가를 향상시킬 수 있는 방법을 보여주기 위해.
• 변분 autoencoder(VAE), 생성 적대 신경망(GAN), 정규화 흐름과 같은 핵심 기법을 소개하기 위해.
• 제한된 레이블이 있는 데이터로 효과적인 지도 학습 및 강화 학습을 가능하게 하는 비지도 사전 훈련의 역할을 강조하기 위해.

제안 방법

• 진정한 데이터 분포 $p(x)$와 모델이 추정한 분포 $q_\theta(x)$ 사이의 통계적 발산 $D(p||q_\theta)$를 최소화하는 방식으로 생성 모델링을 정식화하기 위해.
• VAE에서 후행 분포의 계산이 불가능한 경우 변분 추론을 사용하여 근사하고, 증거 하한값(ELBO)을 최적화하기 위해.
• 생성자 $G(z)$와 판별자 $D(x)$가 최소화-최대화 게임을 통해 훈련되는 생성 적대 신경망(GAN)을 사용하여 현실적인 샘플을 생성하기 위해.
• 정확한 가능도 계산이 가능한 정확한 역행 가능 변환을 구성함으로써 민감도가 높은 밀도 추정을 위한 융통성 있는 변환을 정규화 흐름으로 적용하기 위해.
• 심층 생성 모델을 추론 모델과 통합함으로써 샘플 품질과 훈련 안정성을 향상시키기 위해, 예를 들어 적대적으로 학습된 추론(ADL)에서와 같이.
• 정확한 가능도가 계산이 어려운 경우 비정규화 모델을 훈련하기 위해 소음 대비 추정(NCE)을 사용하기 위해.

실험 결과

연구 질문

• RQ1 생성 모델은 어떻게 대량의 레이블이 없는 데이터를 활용하여 효과적인 소수의 예시 학습을 가능하게 할 수 있는가?
• RQ2 반사적 입력을 생성함으로써 생성 모델이 분류 모델의 평가를 얼마나 더 잘 수행할 수 있는가?
• RQ3 가능도 기반, 적대적, 에너지 기반 접근 방식과 같은 생성 모델링의 다양한 정식화 방식 사이의 주요 상충 관계는 무엇인가?
• RQ4 VAE와 GAN과 같은 아키텍처는 그들의 인도적 편향과 일반화 행동에서 어떻게 다름이 있는가?
• RQ5 생성 모델을 사용한 비지도 사전 훈련은 과적합을 줄이고 후행 지도 학습 과제에서 성능을 향상시킬 수 있는가?

주요 결과

• 생성 모델은 레이블이 없는 데이터로부터 풍부한 세계 모델을 학습하여 효과적인 소수의 예시 학습을 가능하게 하고, 레이블이 있는 예제에 대한 의존도를 줄일 수 있다.
• 반사적 텍스트 프롬프트의 사용은 통계적 상관관계를 넘어서 일반화하는지 테스트함으로써 이미지 캡션 모델의 엄밀한 평가를 가능하게 한다.
• GAN을 통한 적대적 훈련은 고해상도 샘플 생성을 달성하지만, 스펙트럼 정규화나 기울기 페널티와 같은 기법이 없으면 훈련의 불안정성이 여전히 도전 과제로 남아 있다.
• 변분 오토에코더는 후행 추론에 대해 미분 가능하고 계산이 가능한 근사를 제공하여 backpropagation을 통한 엔드 투 엔드 훈련을 가능하게 한다.
• 정규화 흐름은 정확한 가능도 계산이 가능하며, 특히 저차원 잠재 공간에서의 밀도 추정에 효과적이다.
• 소음 대비 추정은 진짜 데이터와 소음을 구별함으로써 비정규화 모델을 훈련할 수 있게 하여 가능도 기반 훈련의 탄력적인 대안을 제공한다.