[논문 리뷰] Mimicry: Towards the Reproducibility of GAN Research

Kwot Sin Lee, Christopher Town|arXiv (Cornell University)|2020. 05. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 40인용 수 18

한 줄 요약

이 논문은 표준화된 최신 GAN 및 평가 지표의 구현을 제공함으로써 재현 가능한 GAN 연구를 가능하게 하는 경량 파이토치 라이브러리인 Mimicry를 소개한다. 동일한 학습 및 평가 절차를 사용하여 일곱 개인 데이터셋에서 일관되고 투명한 기준 성능 점수를 제공함으로써 공정한 비교를 보장하고 이전 연구들 간의 일관성 없는 구현에 의존하는 것을 줄인다.

ABSTRACT

Advancing the state of Generative Adversarial Networks (GANs) research requires one to make careful and accurate comparisons with existing works. Yet, this is often difficult to achieve in practice when models are often implemented differently using varying frameworks, and evaluated using different procedures even when the same metric is used. To mitigate these issues, we introduce Mimicry, a lightweight PyTorch library that provides implementations of popular state-of-the-art GANs and evaluation metrics to closely reproduce reported scores in the literature. We provide comprehensive baseline performances of different GANs on seven widely-used datasets by training these GANs under the same conditions, and evaluating them across three popular GAN metrics using the same procedures. The library can be found at https://github.com/kwotsin/mimicry.

연구 동기 및 목표

• 다른 코드베이스들 간의 일관성 없는 구현, 학습 절차, 평가 방법으로 인한 GAN 연구의 재현성 부족 문제를 해결하기 위해.
• 인기 있는 GAN 아키텍처의 학습 및 평가를 표준화하는 통합적이고 가벼운 파이토치 라이브러리 제공하기 위해.
• 동일한 초모수와 평가 프로토콜을 사용하여 여러 데이터셋과 지표에서 최신 GAN의 투명하고 일관된 기준 성능 점수 제공하기 위해.
• 반복적인 구현을 최소화하고 사전 훈련된 모델과 재사용 가능한 코드베이스를 제공함으로써 연구자들의 부담을 줄이기 위해.
• FID와 IS와 함께 편향이 없는 지표인 KID를 사용하여 GAN 모델 간의 공정한 비교를 촉진하기 위해.

제안 방법

• 모듈러하고 객체지향적인 설계를 사용하여, 생성자와 판별기의 공통 기반 클래스를 공유함으로써 여섯 가지 인기 있는 GAN—DCGAN, WGAN-GP, SNGAN, cGAN-PD, SSGAN, InfoMax-GAN—을 구현한다.
• 모든 모델은 일곱 개인 데이터셋에서 동일한 구성으로 훈련되며, 고정된 초모수, 최적화기 설정, 생성자 단계당 반복 횟수를 사용한다.
• 세 가지 지표—Inception Score (IS), Fréchet Inception Distance (FID), Kernel Inception Distance (KID)—를 사용하여 평가를 수행하며, 각 지표는 표준화된 샘플 크기와 스플릿 수로 계산된다.
• FID의 편향된 추정을 피하기 위해 KID를 더 신뢰할 수 있는 대안으로 사용함으로써, 모델 비교의 공정성을 향상시킨다.
• 모델 조립, 최적화, 체크포인트 저장을 담당하는 Trainer 객체가 훈련 파이프라인을 관리하며, 다양한 데이터셋 크기와 해상도를 지원한다.
• 사용자가 재현 가능성을 보장하고 빠른 벤치마킹을 가능하게 하기 위해 사전 훈련된 체크포인트를 포함한 모델 재단을 제공한다.

실험 결과

연구 질문

• RQ1 표준화된 라이브러리가 다양한 연구 그룹 간의 GAN 구현 및 평가의 이질성 문제를 줄일 수 있는가?
• RQ2 훈련 절차, 프레임워크, 평가 프로토콜의 차이로 인해 보고된 GAN 점수의 변동 범위는 어느 정도인가?
• RQ3 다양한 데이터셋에서 동일한 학습 및 평가 조건 하에서 다양한 GAN 아키텍처는 어떻게 비교되는가?
• RQ4 FID에 비해 KID와 같은 편향 없는 지표가 GAN 벤치마킹에서 더 신뢰할 수 있고 공정한 비교를 가능하게 하는가?
• RQ5 일관된 초모수를 사용하는 단일 통합 코드베이스는 투명하고 재현 가능한 기준 성능 보고를 가능하게 하는가?

주요 결과

• cGAN-PD 모델은 조건부 레이블을 사용함으로써 모든 데이터셋에서 최고의 성능을 기록하며, 무조건적 GAN보다 일관되게 뛰어난 성능을 보였다.
• SSGAN과 InfoMax-GAN은 SNGAN 기준선을 향상시켰으며, 특히 고해상도 CelebA에서 SSGAN은 SNGAN 대비 성능이 떨어지는 반면 InfoMax-GAN은 뚜렷한 향상을 보였다.
• CIFAR-10에서 DCGAN은 FID 28.95±0.42를 기록했으며, 보고된 값 28.12와 매우 유사하여 구현의 재현성을 입증했다.
• 32×32 해상도의 ImageNet에서 최고의 FID 점수는 8.97±0.12였으며, 세 개의 랜덤 시드 모두에서 모든 GAN이 안정적이고 일관된 성능을 보였다.
• KID를 지표로 사용할 경우 편향 없는 추정치를 제공하고 FID와 강한 상관관계를 보였으며, 이는 공정한 모델 비교를 위한 KID의 도입을 뒷받침한다.
• 일致한 학습 및 평가 프로토콜을 사용하여 일곱 개인 데이터셋에 대해 기준 성능 결과를 제공함으로써, GAN 성능 간 직접적이고 투명한 비교가 가능해졌다.