[논문 리뷰] Generative Moment Matching Networks

Yujia Li, Kevin Swersky외 1명|arXiv (Cornell University)|2015. 02. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 48인용 수 379

한 줄 요약

이 논문은 생성적 순간 일치 네트워크(GMMN)를 소개한다. GMMN은 생성 모델의 훈련 목적으로 최대 평균 차이(MMD)를 사용하며, 단일 순방향 전파를 통해 샘플을 생성하는 딥 생성 모델이다. 이는 GAN의 복잡한 최소최대 최적화를 피함으로써, GAN의 불안정한 훈련 동역학을 피할 수 있다. 이 방법은 MNIST와 토리onto 얼굴 데이터베이스에서 최신 기술 수준의 성능을 달성하며, 특히 자동에코더와 조합하여 샘플 품질을 향상시키고 데이터 다양체를 분리하는 데 유리하다.

ABSTRACT

We consider the problem of learning deep generative models from data. We formulate a method that generates an independent sample via a single feedforward pass through a multilayer perceptron, as in the recently proposed generative adversarial networks (Goodfellow et al., 2014). Training a generative adversarial network, however, requires careful optimization of a difficult minimax program. Instead, we utilize a technique from statistical hypothesis testing known as maximum mean discrepancy (MMD), which leads to a simple objective that can be interpreted as matching all orders of statistics between a dataset and samples from the model, and can be trained by backpropagation. We further boost the performance of this approach by combining our generative network with an auto-encoder network, using MMD to learn to generate codes that can then be decoded to produce samples. We show that the combination of these techniques yields excellent generative models compared to baseline approaches as measured on MNIST and the Toronto Face Database.

연구 동기 및 목표

• 생성적 적대망(GAN)의 불안정한 훈련 동역학을 피할 수 있는 단순하고 확장 가능한 딥 생성 모델을 개발하는 것.
• 모든 통계적 모멘트를 데이터와 생성된 샘플 간에 일치시키는 데 최대 평균 차이(MMD)를 훈련 목적으로 활용하는 것.
• GMMN를 자동에코더와 결합하여 코드 공간에서의 분리된 표현을 학습함으로써 샘플 품질을 향상시키는 것.
• 고품질의 생성을 유지하면서도 효율적인 단일 전파 샘플링을 가능하게 하는 것.

제안 방법

• 실제 데이터 분포와 모델이 생성한 분포 사이의 발산 측정으로 MMD를 사용하며, 이는 재생 핵 힐버트 공간에서의 평균 임bed딩 간의 제곱 거리로 정의된다.
• 고정밀 커널 기법을 사용하여 고차수 모멘트를 명시적으로 계산하지 않고도 MMD를 효율적으로 계산한다.
• 미니배치 확률적 경사하강법을 사용하여 MMD 손실을 최소화하도록 생성 네트워크를 백프로파게이션 기반으로 훈련시킨다.
• GMMN를 자동에코더와 결합하기 위해, GMMN가 잠재 공간에서 코드를 생성하도록 훈련하고, 이를 디코딩하여 데이터 샘플을 생성한다.
• 모든 통계적 모멘트를 일치시키기 위해 일반 커널(예: 가우시안)을 사용하여, MMD가 진정으로 동일한 분포일 경우에만 0이 되도록 보장한다.
• 사전 훈련된 자동에코더의 코드 공간에 MMD 목표를 적용하여, 의미 있는 분리된 잠재 다양체를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 MMD는 GAN의 적대적 훈련 없이도 안정적이고 확장 가능한 딥 생성 모델 훈련을 위한 안정적인 대안으로 사용될 수 있는가?
• RQ2 MMD 기반 훈련은 MNIST나 토리onto 얼굴 데이터베이스와 같은 이미지 데이터셋에서 현실적인 샘플을 얼마나 잘 생성할 수 있는가?
• RQ3 GMMN를 자동에코더와 조합하면 샘플 품질 향상과 데이터 다양체의 분리가 가능해지는가?
• RQ4 자기에코더의 잠재 공간에서 MMD 기반 훈련은 원시 데이터 공간에서의 훈련보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 미니배치 확률적 경사하강법을 사용하여 MMD 목표를 대규모 데이터셋에 효율적으로 스케일링할 수 있는가?

주요 결과

• GMMN 모델은 기준 방법, 포함 GAN을 포함하여 MNIST와 토리onto 얼굴 데이터베이스에서 우수한 샘플 품질을 달성한다.
• GMMN+AE 변종은 잠재 코드 공간에서의 선형 보간을 통해 유의미한 이미지 전이를 보여주며, 매끄럽고 연속적인 데이터 다양체를 학습하는 데 성공했다.
• GMMN+AE 모델이 생성한 샘플은 토리onto 얼굴 데이터베이스에서 자세, 표정, 조명, 성별, 얼굴 털의 변화 등에 대해 현실적인 변형을 보였다.
• MMD를 훈련 목적으로 사용함으로써, 적대적 최적화가 필요 없이 안정적인 엔드 투 엔드 백프로파게이션 기반 훈련이 가능했다.
• 미니배치 확률적 경사하강법과 커널 기법을 사용함으로써, 대규모 데이터셋에 대한 효율적인 확장이 가능했다.
• MMD를 통해 모든 통계적 모멘트를 일치시키는 것이 가능해지면서, 명시적 우도 최대화 없이도 고품질의 생성이 가능함을 입증했다.