[논문 리뷰] Comparison of Maximum Likelihood and GAN-based training of Real NVPs

Ivo Danihelka, Balaji Lakshminarayanan외 3명|arXiv (Cornell University)|2017. 05. 15.

Model Reduction and Neural Networks참고 문헌 16인용 수 41

한 줄 요약

이 논문은 정확한 로그확률 계산이 가능한 유연한 생성 모델인 Real NVP에서 최대우도추정(MLE)과 워샤어스타인 GAN(WGAN) 훈련을 비교한다. WGAN로 훈련된 생성기는 로그확률 밀도가 열 劣한 것으로 나타났음에도 불구하고 더 높은 전반적 일관성을 가진 샘플을 생성하며, 독립적인 비평가가 근사 워샤어스타인 거리로 과적합 여부를 탐지함으로써 모델 평가를 향상시키고 효율적인 훈련을 위한 빠른 학습 비평가를 제안한다.

ABSTRACT

We train a generator by maximum likelihood and we also train the same generator architecture by Wasserstein GAN. We then compare the generated samples, exact log-probability densities and approximate Wasserstein distances. We show that an independent critic trained to approximate Wasserstein distance between the validation set and the generator distribution helps detect overfitting. Finally, we use ideas from the one-shot learning literature to develop a novel fast learning critic.

연구 동기 및 목표

• 정확한 로그확률 계산이 가능한 정규화 흐름 모델인 Real NVP에서 최대우도 기반 훈련과 GAN 기반 훈련의 성능을 비교하기 위해.
• WGAN 훈련이 가능하면 낮은 우도를 가질 수 있음에도 불구하고 MLE보다 더 높은 품질의 샘플을 생성하는지 평가하기 위해.
• 독립적인 비평가가 워샤어스타인 거리의 근사치를 통해 과적합 여부를 탐지하고 모델 간 비교에 유용한지 조사하기 위해.
• 샘플 품질을 손상시키지 않고 훈련 효율성을 향상시키는 빠른 학습 비평가를 개발하고 평가하기 위해.

제안 방법

• 유한한 역행렬과 삼각행렬 자코비안 변환을 통해 정확한 로그확률 밀도 계산이 가능한 Real NVP를 생성기로 사용한다.
• 동일한 생성기 아키텍처를 사용하여 MLE(로그우도 최대화)와 WGAN(비평가 근사 워샤어스타인 거리 최소화) 훈련을 수행한다.
• 검증 세트에서 생성기와 진짜 데이터 분포 간의 워샤어스타인 거리를 근사하기 위해 독립적인 비평가 네트워크를 활용한다.
• 이전 비평가 상태를 활용하고 기울기 계산 오버헤드를 줄임으로써 성능을 유지하면서도 덜 자주 업데이트하는 빠른 학습 비평가를 도입한다.
• 동일한 생성기 아키텍처(NVP1, NVP2, NVP3)를 두 훈련 방식에 모두 적용하여 공정한 비교를 확보한다.
• 정확한 로그확률 밀도, 시각적 샘플 품질, 독립적인 비평가로부터의 근사 워샤어스타인 거리를 사용하여 결과를 검증한다.

실험 결과

연구 질문

• RQ1 WGAN 훈련이 MLE 훈련보다 Real NVP에서 더 높은 전반적 일관성을 가진 샘플을 생성하는가, 로그확률 밀도가 열 劣한가와는 무관하게?
• RQ2 독립적인 비평가가 워샤어스타인 거리의 근사를 통해 MLE와 WGAN로 훈련된 생성기 양쪽 모두에서 과적합 여부를 탐지할 수 있는가?
• RQ3 Real NVP를 WGAN로 훈련할 때와 MLE로 훈련할 때 로그확률 밀도와 샘플 품질 사이에 상충 관계가 존재하는가?
• RQ4 빠른 학습 비평가는 유연한 생성 모델에서 샘플 품질을 떨어뜨리지 않고도 훈련 효율성을 향상시킬 수 있는가?
• RQ5 MLE와 WGAN 훈련 방식 간에 훈련 세트와 검증 세트 간의 근사 워샤어스타인 거리가 어떻게 비교되는가?

주요 결과

• WGAN로 훈련된 생성기는 낮은 아키텍처(NVP1)임에도 불구하고 MLE로 훈련된 생성기보다 더 높은 전반적 일관성을 가진 샘플을 생성하여, 더 나은 구조적 생성 능력을 보였다.
• WGAN로 훈련된 생성기의 음의 로그확률 밀도는 균일 분포보다 열 열었으며, 이는 우도가 샘플 품질의 신뢰할 수 있는 지표가 아님을 시사한다.
• 독립적인 비평가로부터의 근사 워샤어스타인 거리가 MLE로 훈련된 생성기를 정확히 순위 매김하여, 모델 간 비교에 있어 그 유용성을 입증했다.
• 훈련 데이터와 생성기 분포 간의 근사 워샤어스타인 거리는 검증 세트와의 거리보다 작아졌으며, 이는 MLE와 WGAN 훈련 모두에서 과적합이 발생했음을 시사한다.
• 빠른 학습 비평가는 더 적은 비평가 업데이트로도 안정적인 훈련을 가능하게 하여, 표준 훈련과 비교해도 높은 품질의 샘플을 생성할 수 있었다.
• WGAN 생성기의 자코비안은 낮은 질서를 가지며, 이는 생성된 분포가 낮은 차원의 다양체 위에 존재함을 시사하며, 이는 이론적 예측과 일치한다.