[논문 리뷰] FCC-GAN: A Fully Connected and Convolutional Net Architecture for GANs

Sukarna Barua, Sarah Erfani외 1명|arXiv (Cornell University)|2019. 05. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 23

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)의 새로운 아키텍처인 FCC-GAN을 제안한다. 이는 생성기와 판별기 양쪽 모두에 깊이 있는 완전 연결 및 풀링 레이어를 통합한 구조로, 기존의 순수 컨볼루션 중심 설계에 도전한다. 이 방법은 샘플 품질, 학습 속도, 안정성을 향상시키며, CIFAR-10, STL-10, CelebA, LSUN 등 네 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다. FCC-GAN-P는 모든 메트릭에서 표준 CNN 기반 GAN보다 뛰어난 성능을 보였다.

ABSTRACT

Generative Adversarial Networks (GANs) are a powerful class of generative models. Despite their successes, the most appropriate choice of a GAN network architecture is still not well understood. GAN models for image synthesis have adopted a deep convolutional network architecture, which eliminates or minimizes the use of fully connected and pooling layers in favor of convolution layers in the generator and discriminator of GANs. In this paper, we demonstrate that a convolution network architecture utilizing deep fully connected layers and pooling layers can be more effective than the traditional convolution-only architecture, and we propose FCC-GAN, a fully connected and convolutional GAN architecture. Models based on our FCC-GAN architecture learn both faster than the conventional architecture and also generate higher quality of samples. We demonstrate the effectiveness and stability of our approach across four popular image datasets.

연구 동기 및 목표

• GAN이 오직 컨볼루션 레이어를 사용해야 한다는 일반적인 가정을 도전하기 위해.
• 기존의 순수 컨볼루션 아키텍처와 비교해 깊이 있는 완전 연결 및 풀링 레이어가 GAN 성능을 향상시킬 수 있는지 조사하기 위해.
• 아키텍처 혁신을 통해 GAN의 학습 안정성, 샘플 품질, 수렴 속도를 향상시키기 위해.
• 다양한 데이터셋과 학습 설정에서 제안된 아키텍처의 효과성을 검증하기 위해.

제안 방법

• 생성기는 낮은 차원의 노이즈 벡터를 고차원의 이미지 특징 표현으로 매핑하기 위해 깊이 있는 완전 연결 레이어를 사용한 후, 최종 이미지를 생성하기 위해 컨볼루션 레이어를 적용한다.
• 판별기는 이미지 특징을 추출하기 위해 컨볼루션 레이어를 사용한 후, 특징를 낮은 차원의 공간으로 매핑하기 위해 깊이 있는 완전 연결 레이어를 적용한 후 최종 분류를 수행한다.
• 스트라이드 컨볼루션 레이어 대신 풀링 레이어를 판별기에서 사용함으로써 안정성과 성능을 향상시켰다.
• 표준 GAN 학습 목표함수와 최적화 알고리즘(RMSProp, SGD, ADAM)을 사용하여 여러 데이터셋에서 아키텍처를 평가하였다.
• 학습 안정성과 샘플 품질에 대한 영향을 평가하기 위해 배치 정규화(BN)의 영향을 분석하는 아블레이션 연구를 수행하였다.
• Inception Score와 Fréchet Inception Distance(FID) 등의 메트릭을 사용하여, CIFAR-10, STL-10, CelebA, LSUN 등 네 가지 벤치마크 데이터셋에서 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 순수 컨볼루션 아키텍처와 비교해 깊이 있는 완전 연결 및 풀링 레이어를 GAN 아키텍처에 통합함으로써 샘플 품질과 학습 안정성이 향상되는가?
• RQ2 완전 연결 레이어를 통해 노이즈에서 특징으로의 매핑을 수행한 후, 컨볼루션 레이어를 통해 특징에서 이미지로의 생성을 수행하는 이중 단계의 이미지 생성 프로세스가 더 나은 성능을 낼 수 있는가?
• RQ3 FCC-GAN 프레임워크에서 풀링 레이어를 사용하는 것과 스트라이드 컨볼루션을 사용하는 것 간의 학습 안정성과 성능는 어떻게 비교되는가?
• RQ4 배치 정규화는 제안된 FCC-GAN 아키텍처의 학습 동역학과 출력 품질에 어떤 영향을 미치는가?
• RQ5 FCC-GAN 아키텍처는 다양한 데이터셋과 최적화 설정에서도 일반화되며 뛰어난 성능을 유지할 수 있는가?

주요 결과

• FCC-GAN-P는 RMSProp 최적화에서 CIFAR-10에서 Inception Score 6.196을 기록하여, CNN 기반 베이스라인의 5.951보다 유의미하게 뛰어났다.
• SGD 최적화 하에서 FCC-GAN-P는 Inception Score 4.896을 기록했고, CNN 모델은 점수 1.655로 완전히 실패하여 더 뛰어난 안정성을 보였다.
• 모든 데이터셋과 최적화 알고리즘에서 FCC-GAN 아키텍처는 기존의 CNN 기반 GAN보다 더 빠른 수렴을 보였다.
• 아블레이션 연구 결과, 판별기에서 배치 정규화를 제거하면 성능이 심각하게 악화되었지만, FCC-GAN-P는 여전히 인식 가능한 이미지를 생성했고, CNN 기반 베이스라인과는 달리 기능을 유지했다.
• 모든 실험에서 FCC-GAN-P는 가장 낮은 Fréchet Inception Distance(FID)를 기록하여, 생성된 샘플의 정밀도와 다양성이 높다는 것을 시사했다.
• FCC-GAN 프레임워크에서 판별기의 풀링 레이어 사용은 스트라이드 컨볼루션 레이어 사용보다 더 뛰어난 학습 안정성과 성능을 보였다.