[논문 리뷰] Learning Implicit Generative Models with the Method of Learned Moments

Suman Ravuri, Shakir Mohamed외 2명|arXiv (Cornell University)|2018. 06. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 7

한 줄 요약

이 논문은 은닉 유닛 활성화와 기울기 특징을 사용하는 순간 네트워크를 통해 통계적으로 효율적인 순간을 학습하는 방식으로 대규모 암묵적 생성 모델을 훈련시키는 새로운 방법인 학습된 순간의 방법(Method of Learned Moments, MoLM)을 제안한다. MoLM은 CIFAR-10에서 최고 수준의 Inception Score와 Fréchet Inception Distance를 달성하고, CelebA에서는 거의 완벽한 다중 척도 구조적 유사도(Multi-Scale Structural Similarity)를 기록하여, 적대적 GAN과 MMD 기반 방법을 능가한다.

ABSTRACT

We propose a method of moments (MoM) algorithm for training large-scale implicit generative models. Moment estimation in this setting encounters two problems: it is often difficult to define the millions of moments needed to learn the model parameters, and it is hard to determine which properties are useful when specifying moments. To address the first issue, we introduce a moment network, and define the moments as the network's hidden units and the gradient of the network's output with the respect to its parameters. To tackle the second problem, we use asymptotic theory to highlight desiderata for moments -- namely they should minimize the asymptotic variance of estimated model parameters -- and introduce an objective to learn better moments. The sequence of objectives created by this Method of Learned Moments (MoLM) can train high-quality neural image samplers. On CIFAR-10, we demonstrate that MoLM-trained generators achieve significantly higher Inception Scores and lower Frechet Inception Distances than those trained with gradient penalty-regularized and spectrally-normalized adversarial objectives. These generators also achieve nearly perfect Multi-Scale Structural Similarity Scores on CelebA, and can create high-quality samples of 128x128 images.

연구 동기 및 목표

• 수백만 개의 순간이 필요하기 때문에 전통적인 순간 추정이 불가능한 대규모 암묵적 생성 모델 훈련의 과제를 해결하기 위해.
• 통계적으로 효율적인 순간을 선택하는 데 어려움을 해결하기 위해 渐近 분산 최소화를 통해 이를 학습하기 위해.
• 적대적 훈련의 단점을 피하면서도 그에 준하거나 이를 초월하는 샘플 품질을 달성할 수 있는 확장 가능하고 안정적인 훈련 알고리즘을 개발하기 위해.
• 학습된 순간을 기반으로 한 훈련이 GAN과 비교하여 동등하거나 더 우수한 고해상도 이미지 샘플을 생성할 수 있음을 입증하기 위해.

제안 방법

• 생성자 훈련을 위한 순간으로서 은닉 유닛과 출력 기울기의 특징을 갖는 순간 네트워크를 도입한다.
• 점근 이론을 사용하여 순간의 바람직한 조건을 정의한다: 모수 추정기의 점근 분산을 최소화한다.
• 추정기 정밀도를 향상시키기 위해 통계적으로 효율적인 순간을 학습하기 위한 목적 함수를 제안한다.
• 생성 데이터의 순간과 진짜 데이터의 순간을 일치시키는 방식으로 생성자를 훈련시키며, 순간 네트워크를 특징 추출기로 사용한다.
• 두 단계 최적화를 적용한다: 먼저 순간 네트워크를 분산을 최소화하도록 학습하고, 그 다음에 학습된 순간을 사용해 생성자를 훈련시킨다.
• 이를 이미지 생성에 적용하며, DCGAN 및 Miyato 등(2018)의 고유한 컨볼루션 네트워크 아키텍처를 사용한다.

실험 결과

연구 질문

• RQ1 수십만 개의 모수를 가진 암묵적 생성 모델을 훈련시키는 데에 순간의 방법을 확장할 수 있는가?
• RQ2 모수 추정기의 점근 분산을 최소화할 수 있도록 순간을 어떻게 학습시킬 수 있는가?
• RQ3 기존의 적대적 훈련과 비교해 동등하거나 더 뛰어난 샘플 품질을 달성할 수 있는 순간 기반 훈련 접근법을 개발할 수 있는가?
• RQ4 순간 네트워크에서 은닉 유닛 활성화와 기울기 특징을 함께 사용할 경우 생성 성능에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 MoLM로 훈련된 생성자는 Conv. 아키텍처를 사용해 Inception Score 7.90 ± 0.10과 Fréchet Inception Distance 23.3/18.9를 기록했으며, 기울기 보정 및 스펙트르로 정규화된 GAN보다 뛰어난 성능을 보였다.
• MoLM는 CelebA에서 Multi-Scale Structural Similarity 점수 0.378를 기록했으며, 이는 메트릭의 한계가 있음에도 불구하고 GAN 기준선과 동등하거나 이를 초월했다.
• 이 방법은 128×128 이미지 생성으로까지 확장되어 ImageNet 다이아지 서브셋에서 고해상도 생성을 가능하게 하여 고해상도 생성의 가능성과 타당성을 입증했다.
• 순간 네트워크에서 은닉 유닛 활성화와 기울기 특징을 모두 사용할 경우, 각각을 별도로 사용하는 것보다 IS 및 FID 점수에서 유의미한 향상을 보였다.
• 훈련 과정 내내 Inception Score나 Fréchet Inception Distance의 붕괴 없이 안정적인 성능 유지가 가능했다.
• 순간 네트워크 크기가 증가함에 따라 IS 및 FID 성능이 향상되었으며, 768에서 1536 유닛으로 증가함에 따라 성능 향상이 관찰되었다.