[논문 리뷰] On Self Modulation for Generative Adversarial Networks

Ting Chen, Mario Lučić외 2명|arXiv (Cornell University)|2018. 10. 02.

Model Reduction and Neural Networks참고 문헌 40인용 수 44

한 줄 요약

Self-modulation은 입력 노이즈 벡터를 사용해 생성기 특징 맵을 모듈레이션하며, 외부 라벨 없이도 데이터셋, 아키텍처, 손실, 하이퍼파라미터 전반에 걸쳐 GAN 성능을 향상시킵니다. 상대 FID를 5%에서 35%까지 감소시키고 124/144 설정에서 개선을 보입니다.

ABSTRACT

Training Generative Adversarial Networks (GANs) is notoriously challenging. We propose and study an architectural modification, self-modulation, which improves GAN performance across different data sets, architectures, losses, regularizers, and hyperparameter settings. Intuitively, self-modulation allows the intermediate feature maps of a generator to change as a function of the input noise vector. While reminiscent of other conditioning techniques, it requires no labeled data. In a large-scale empirical study we observe a relative decrease of $5\%-35\%$ in FID. Furthermore, all else being equal, adding this modification to the generator leads to improved performance in $124/144$ ($86\%$) of the studied settings. Self-modulation is a simple architectural change that requires no additional parameter tuning, which suggests that it can be applied readily to any GAN.

연구 동기 및 목표

• 외부 조건 정보에 의존하지 않고 GAN 교육을 안정시키고 샘플 품질을 향상시킨다.
• 데이터셋, 아키텍처, 손실 함수, 하이퍼파라미터 전반에 걸친 간단한 구조적 수정의 일반적 적용 가능성을 입증한다.
• 무조건 생성과 조건부 생성 시나리오를 비교하고 이용 가능한 라벨과의 상호 작용을 분석한다.
• 모듈레이션이 생성기 컨디셔닝과 학습 역학에 어떤 영향을 미치는지 이해하기 위한 진단 정보를 제공한다.

제안 방법

• 작은 MLP를 통해 BN의 스케일과 시프트 파라미터가 생성기 입력 z에 의존하도록 만들어 Self-modulation을 도입한다.
• 조건부 생성을 위해 모듈레이션을 적용하기 전에 간단한 이중선형 상호작용을 사용해 z를 라벨 정보와 결합한다.
• 비포화(non-saturating)와 히지(hinge) 두 손실, 그래디언트 페널티와 스펙트럴 노말라이제이션 두 가지 정규화/정규화 방식, DCGAN 유사 아키텍처와 잔차(Residual) 아키텍처, 그리고 여러 하이퍼파라미터를 대상으로 평가한다.
• CIFAR-10, CelebA-HQ, LSUN-bedroom, ImageNet에서 100k 스텝으로 훈련하고(더 긴 훈련은 ImageNet에서 500k 스텝) FID 및 IS를 사용해 평가한다.
• 기준 BN과의 비교를 무쌍(레이블 없는) 및 페어링된(레이블 있는) 설정 모두에서 수행하고, 하이퍼파라미터 전체에서 최고 성능 모델을 보고한다.

실험 결과

연구 질문

• RQ1 Self-modulation이 다양한 데이터셋, 아키텍처 및 손실/정규화 설정에서 GAN 성능을 향상시키는가?
• RQ2 무조건적 및 조건부 GAN에서 이점이 있는가, 그리고 가용한 라벨 정보와의 상호 작용은 어떠한가?
• RQ3 생성기에서 모듈레이션이 가장 유리한 위치는 어디이며 모든 층에서 모듈레이션이 필요한가?
• RQ4 Self-modulation이 생성기 Jacobian 조건수와 정밀도/재현율과 같은 진단 지표에 어떤 영향을 미치는가?

주요 결과

• Self-modulation을 적용한 설정에서 4%에서 33%에 이르는 FID 개선.
• 무쌍 설정에서 32개 구성을 대상으로 30개 구성에서 기준 BN보다 우수.
• 페어링된(조건부) 설정에서 FID의 현저한 향상과 IS의 눈에 띄는 향상을 여러 데이터셋에 걸쳐 달성.
• ResNet 아키텍처에 적용 시 모듈레이션은 손실, 정규화, 또는 노말라이제이션에 관계없이 일관되게 성능을 향상시킨다.
• 더 긴 학습(500k 스텝)을 사용할 때도 개선이 계속되며(무조건 11% FID 감소, 조건부 13%).
• Self-modulation은 일반적으로 더 나중 계층에 적용할 때 가장 큰 이점을 제공하고, 모든 계층에 적용하면 최상의 결과를 낸다.