[논문 리뷰] BourGAN: Generative Networks with Metric Embeddings

Chang Xiao, Peilin Zhong외 1명|arXiv (Cornell University)|2018. 05. 19.

Generative Adversarial Networks and Image Synthesis인용 수 26

한 줄 요약

BourGAN은 메트릭 공간 내의 기하 구조로 데이터 모드를 모델링하여 GAN의 모드 붕괴를 해결한다. 이를 통해 L2 공간에 임bedding하여 쌍별 거리 유지하고, 자동으로 잠재 차원 수를 결정하며, 표본 추출을 위한 가우시안 믹스처 모델을 도입함으로써 최근 GAN 변종보다 더 나은 모드 커버리지와 표본 품질을 달성한다.

ABSTRACT

This paper addresses the mode collapse for generative adversarial networks (GANs). We view modes as a geometric structure of data distribution in a metric space. Under this geometric lens, we embed subsamples of the dataset from an arbitrary metric space into the L2 space, while preserving their pairwise distance distribution. Not only does this metric embedding determine the dimensionality of the latent space automatically, it also enables us to construct a mixture of Gaussians to draw latent space random vectors. We use the Gaussian mixture model in tandem with a simple augmentation of the objective function to train GANs. Every major step of our method is supported by theoretical analysis, and our experiments on real and synthetic data confirm that the generator is able to produce samples spreading over most of the modes while avoiding unwanted samples, outperforming several recent GAN variants on a number of metrics and offering new features.

연구 동기 및 목표

• GAN의 모드 붕괴 문제를 해결하기 위해, 생성자가 모든 데이터 모드를 커버하지 못하는 문제를 해결한다.
• 데이터 모드를 메트릭 공간 내의 기하 구조로 모델링하여 데이터 분포의 더 체계적인 표현을 가능하게 한다.
• 쌍별 거리 분포를 유지하면서 메트릭 임베딩을 통해 잠재 공간의 차원 수를 자동으로 결정한다.
• 메트릭 임베딩과 가우시안 믹스처 모델을 조합하여 잠재 벡터 생성을 통해 표본 다양성과 품질을 향상시킨다.
• 각 구성 요소에 대한 이론적 근거를 제시하여 방법의 강건성과 일반화 능력을 보장한다.

제안 방법

• 임의의 메트릭 공간에서 데이터의 부분 집합을 거리 유지 변환을 통해 L2 공간으로 임베딩한다.
• 임베딩 과정에서 원래 메트릭 공간 내 데이터 포인트 간의 쌍별 거리 분포를 유지한다.
• 임베딩된 공간을 활용해 생성자에 대한 잠재 공간의 차원 수를 자동으로 결정한다.
• 임베딩된 데이터 위에 가우시안 믹스처 모델(GMM)을 구축하여 기저 데이터 분포를 반영하는 잠재 벡터를 추출한다.
• 기존 GAN 목표 함수에 GMM 기반 사전 확률을 통합하여 학습 안정성과 모드 커버리지를 향상시킨다.
• GMM 사전 확률을 생성자의 잠재 공간 표본 추출 과정에 통합하여 모든 데이터 모드를 탐색하도록 유도한다.

실험 결과

연구 질문

• RQ1 메트릭 공간 내에서 데이터 모드를 기하학적으로 모델링하면 GAN의 모드 커버리지가 향상되는가?
• RQ2 메트릭 임베딩 과정에서 쌍별 거리를 유지하면 더 나은 잠재 공간 표현과 표본 추출이 가능한가?
• RQ3 메트릭 임베딩을 통해 하이퍼파ram터 튜닝 없이도 잠재 공간의 차원 수를 자동으로 결정할 수 있는가?
• RQ4 GMM 기반 표본 추출과 증강된 GAN 목표 함수를 조합하면 모드 붕괴가 얼마나 감소하는가?
• RQ5 표본 다양성과 분포 충실도 측면에서 최근 GAN 변종과 비교해 본다면 제안된 방법은 어떤가?

주요 결과

• BourGAN은 기존 GAN 기반 모델 대비 모드 붕괴를 크게 줄이며 대부분의 데이터 모드를 커버하는 표본을 성공적으로 생성한다.
• 합성 및 실세계 데이터셋 모두에서 표본 품질과 다양성이 향상되었으며, 표준 평가 지표에서 몇몇 최근 GAN 변종을 능가한다.
• 잠재 공간의 차원 수가 메트릭 임베딩 과정을 통해 자동으로 결정되어 수동 튜닝이 필요 없어졌다.
• 잠재 표본 추출에 가우시안 믹스처 모델을 사용함으로써 생성자는 복잡한 데이터 분포를 더 잘 탐색할 수 있게 되었다.
• 이론적 분석을 통해 각 구성 요소의 타당성과 안정성을 검증하였으며, 설계 선택의 타당성을 뒷받침한다.
• 실증 결과는 증강된 목표 함수가 생성자가 모든 주요 데이터 모드를 커버하도록 효과적으로 이끌 수 있음을 확인한다.