[논문 리뷰] MaGNET: Uniform Sampling from Deep Generative Network Manifolds Without Retraining

Ahmed Imtiaz Humayun, Randall Balestriero외 1명|arXiv (Cornell University)|2021. 10. 15.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

MaGNET는 재학습이 필요 없이 어떤 사전 훈련된 딥 생성 네트워크(DGN)의 다양체에서 균일한 샘플링을 위한 플러그 앤 플레이 방법이다. 연속적 조각별 애프린(continuous piecewise affine, CPA) 매핑의 해석적 변환을 활용하여 데이터 다양체 상에서 증명 가능하게 균일한 분포를 달성한다. 이는 스타일제너레이티브 GAN2와 같은 최신 모델에서 공정성, 정밀도, 재현율을 향상시키며, 레이블이나 아키텍처 변경 없이도 성별 편향을 41.2% 감소시키고, 정밀도와 재현율을 각각 3.0%와 4.1% 향상시킨다.

ABSTRACT

Deep Generative Networks (DGNs) are extensively employed in Generative Adversarial Networks (GANs), Variational Autoencoders (VAEs), and their variants to approximate the data manifold and distribution. However, training samples are often distributed in a non-uniform fashion on the manifold, due to costs or convenience of collection. For example, the CelebA dataset contains a large fraction of smiling faces. These inconsistencies will be reproduced when sampling from the trained DGN, which is not always preferred, e.g., for fairness or data augmentation. In response, we develop MaGNET, a novel and theoretically motivated latent space sampler for any pre-trained DGN, that produces samples uniformly distributed on the learned manifold. We perform a range of experiments on various datasets and DGNs, e.g., for the state-of-the-art StyleGAN2 trained on FFHQ dataset, uniform sampling via MaGNET increases distribution precision and recall by 4.1\\% \\& 3.0\\% and decreases gender bias by 41.2\\%, without requiring labels or retraining. As uniform distribution does not imply uniform semantic distribution, we also explore separately how semantic attributes of generated samples vary under MaGNET sampling.

연구 동기 및 목표

• 편향되거나 비균일한 훈련 데이터 분포로 인해 발생하는 딥 생성 네트워크(DGN)의 비균일 샘플링 문제를 해결하기 위해.
• 재학습이나 레이블이 필요 없이 DGN이 학습한 다양체 상에서 균일한 샘플링을 가능하게 하는 방법을 개발하기 위해.
• 사전 훈련된 모델인 스타일제너레이티브 GAN2 및 프로GAN과 같은 모델에서 생성 샘플의 공정성, 다양성, 통계적 안정성을 향상시키기 위해.
• 모든 미분 가능한 DGN에 적용 가능한 이론적으로 탄탄한 플러그 앤 플레이 솔루션을 제공하기 위해. 특히 ReLU와 같은 CPA 비선형성을 사용하는 경우에 유용하다.

제안 방법

• MaGNET는 CPA 매핑의 자코비안 행렬식을 활용하여 표준 잠재 분포를 DGN이 학습한 다양체 상의 균일 분포로 변환하는 해석적 변환을 유도한다.
• 연속적 조각별 애프린(CPA) 네트워크의 구조, 예를 들어 (레이크리) ReLU를 사용하는 네트워크를 활용하여 국소 선형 변환 기반 정확한 샘플링 보정을 계산한다.
• 부드러운 비선형성의 경우, MaGNET는 CPA 변환을 근사하기 위해 일阶 테일러 근사를 적용한다.
• 이 방법은 사전 훈련된 DGN의 잠재 공간에 직접 적용되어 데이터 다양체 상에서 균일성을 달성하기 위해 샘플링 분포를 조정한다.
• GAN, VAE, 노멀라이징 플로우 등 다양한 DGN 아키텍처와 호환되며, CPA 또는 근사 가능한 비선형성을 사용하는 경우에 적용 가능하다.
• 다양한 데이터셋과 모델에서 검증되었으며, 스타일제너레이티브 GAN2와 프로GAN을 포함한 FFHQ 데이터셋을 바탕으로 정밀도, 재현도, 편향 평가 등의 지표를 사용하였다.

실험 결과

연구 질문

• RQ1 재학습이나 레이블 접근 없이도 사전 훈련된 DGN의 다양체에서 균일한 샘플링을 달성할 수 있는가?
• RQ2 MaGNET를 통한 균일 샘플링은 편향된 훈련 데이터에서 생성된 샘플의 공정성, 다양성, 정밀도에 어떤 영향을 미치는가?
• RQ3 표준 잠재 분포를 CPA 다양체 상의 균일 분포로 변환하는 이론적 기반은 무엇인가?
• RQ4 MaGNET는 데이터 다양체 상에서 기하학적 성질(예: 리프시츠 상수)의 통계적 추정을 향상시키는가?
• RQ5 스타일제너레이티브 GAN2의 스타일 공간처럼 속성이 더 잘 분리된 잠재 공간에서도 MaGNET 샘플링이 효과적으로 적용될 수 있는가?

주요 결과

• 스탠다드 잠재 공간 샘플링 대비 스타일 공간 다양체에서 MaGNET를 사용할 경우, 스타일제너레이티브 GAN2에서 정밀도와 재현도가 각각 3.01%와 4.12% 향상된다.
• 스타일제너레이티브 GAN2에서 생성된 얼굴의 성별 편향은 MaGNET를 사용해 스타일 공간에서 샘플링할 경우 67–33%에서 60–40%로 감소한다.
• MaGNET는 표준 샘플링에서 흔하지 않은 여성의 턱수염, 남성의 메이크업과 같은 희귀한 속성도 생성할 수 있도록 한다.
• 시각적 비교를 통해 DGN에 의해 덜 근사되는 다양체 영역에 접근함으로써 샘플의 다양성이 실제로 향상됨을 입증하였다.
• 다양성 향상과 함께 높은 정밀도를 유지함을 확인하였으며, 10개의 랜덤 시드에서 정밀도 및 재현도 지표가 향상된 것으로 나타났다.
• 이 방법은 다양한 DGN 아키텍처에 대해 강건하며, 아키텍처 수정 없이 픽셀 공간 및 스타일 공간 다양체 모두에 적용 가능하다.