[논문 리뷰] Generative Ratio Matching Networks

Akash Srivastava, Kai Xu외 2명|arXiv (Cornell University)|2018. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 4

한 줄 요약

이 논문은 깊이 있는 생성 모델을 훈련시키는 데 있어, 실수 데이터와 생성된 데이터 간의 밀도 비율을 낮은 차원의 공간에서 일치시키는 데 초점을 맞춘 새로운 방법인 생성 비율 매칭(GRAM)을 소개한다. 이는 안정적인 최적화를 위한 사다리꼴 최적화를 피하는 방식이다. 기존의 적대적 GAN이나 MMD-GAN과 달리, GRAM은 CIFAR-10과 CelebA에서 최고 성능을 기록하며 훈련의 안정성과 하이퍼파rameter에 대한 민감도를 향상시킨다.

ABSTRACT

Deep generative models can learn to generate realistic-looking images, but many of the most effective methods are adversarial and involve a saddlepoint optimization, which requires a careful balancing of training between a generator network and a critic network. Maximum mean discrepancy networks (MMD-nets) avoid this issue by using kernel as a fixed adversary, but unfortunately, they have not on their own been able to match the generative quality of adversarial training. In this work, we take their insight of using kernels as fixed adversaries further and present a novel method for training deep generative models that does not involve saddlepoint optimization. We call our method generative ratio matching or GRAM for short. In GRAM, the generator and the critic networks do not play a zero-sum game against each other, instead, they do so against a fixed kernel. Thus GRAM networks are not only stable to train like MMD-nets but they also match and beat the generative quality of adversarially trained generative networks.

연구 동기 및 목표

• GAN과 같은 적대적 생성 모델의 불안정성과 하이퍼파rameter 민감도 문제를 해결한다.
• 자연 이미지와 같은 고차원 데이터에서 표준 MMD-네트워크의 열악한 생성 품질 문제를 해결한다.
• MMD-네트워크의 안정성을 유지하면서도 생성 품질을 적대적 방법과 견줄 만큼 향상시키는 훈련 방법을 개발한다.
• 생성자와 비평가 간의 사다리꼴 최적화가 필요 없도록 고정된 커널 기반의 비평가를 사용함으로써 이를 제거한다.
• 투영된 공간에서의 밀도 비율 매칭이 원래 데이터 공간에서의 분포 매칭을 향상시킨다는 것을 입증한다.

제안 방법

• 실제 데이터 밀도와 모델이 생성한 밀도의 비율을 입력 공간에서 추정하기 위해 비평가 네트워크를 훈련시킨다.
• 고정된 비평가 네트워크를 통해 실수 및 생성된 샘플을 낮은 차원의 공간으로 투영하여 내재 차원을 감소시킨다.
• 투영된 공간에서 커널 기반의 MMD 추정을 사용하여 실수 데이터 분포와 생성된 데이터 분포 간의 격차를 최소화한다.
• 비평가를 고정된, 학습되지 않은 적대자로 사용하여 생성자를 훈련시켜, 투영된 실수 및 생성된 데이터 분포 간의 MMD를 최소화한다.
• 커널 그램 행렬을 활용하여 비평가에 대한 수치 최적화 없이도 MMD를 효율적으로 계산한다.
• 생성자와 비평가의 훈련을 분리함으로써 적대적 훈련 동역학을 피하고, 동시에 최소화 최대화 최적화가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 낮은 차원의 공간에서의 밀도 비율 추정이 고차원 데이터에서 MMD 기반 모델의 생성 품질을 향상시킬 수 있는가?
• RQ2 훈련 과정에서 사다리꼴 최적화를 피할 경우, GAN과 MMD-GAN에 비해 더 안정적이고 강건한 생성 모델을 얻을 수 있는가?
• RQ3 비평가의 출력 공간의 차원이 생성 모델의 성능에 어떤 영향을 미치는가?
• RQ4 밀도 비율을 유지하는 고정된 비평가가 MMD-GAN에서 학습된 비평가보다 우수한 성능을 내며 높은 샘플 품질을 유지할 수 있는가?
• RQ5 기존 방법에 비해 학습률과 배치 크기와 같은 하이퍼파rameter 선택에 대해 제안된 방법이 강건한가?

주요 결과

• GRAM-네트워크는 CIFAR-10과 CelebA 데이터셋 모두에서 최고 성능을 기록한 프레셰 인ception 거리(FID) 점수를 달성한다. 이는 표준 GAN과 MMD-GAN을 모두 능가한다.
• CIFAR-10에서 GRAM-네트워크는 FID 6.89를 기록했으며, MMD-GAN의 7.82에 비해 유의미하게 뛰어나고, 최고 성능의 GAN과 유사한 성능을 보였다.
• CelebA에서 GRAM-네트워크는 FID 13.21을 기록했으며, MMD-GAN의 14.12를 뛰어넘고 최고 수준의 GAN과 동등한 성능을 보였다.
• GRAM-네트워크는 MMD-GAN에 비해 학습률과 배치 크기의 민감도가 크게 감소했으며, 보편적인 GAN과 유사한 성능을 보였다.
• 비평가의 출력 차원이 약 1000일 때 성능이 가장 뛰어나며, 더 큰 차원은 성능을 떨어뜨리는 것으로 나타나, 데이터에 대한 최적의 내재 차원이 존재함을 시사한다.
• 정성적 분석을 통해 CIFAR-10에서의 최근접 이웃 분석 결과, 생성된 샘플들이 훈련 세트에서 기억된 것이 아니라 다양함을 확인했다.