[논문 리뷰] Whitening and Coloring transform for GANs.

Aliaksandr Siarohin, Enver Sangineto외 1명|arXiv (Cornell University)|2018. 06. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 14

한 줄 요약

이 논문은 배치 정규화(BN)와 조건부 배치 정규화(cBN)를 일반화하기 위해 특성 표준화 및 스케일링을 학습 가능한 화이트닝 및 칼라링 변환(WCT) 연산으로 대체하는 GAN용 화이트닝 및 칼라링 변환(WCT)을 제안한다. 이 방법은 여러 데이터셋과 GAN 프레임워크에서 학습 속도를 향상시키고 더 높은 품질의 이미지를 생성하며, CIFAR-10에서 최신 기준 FID 점수를 달성한다.

ABSTRACT

Batch Normalization (BN) is a common technique used both in discriminative and generative networks in order to speed-up training. On the other hand, the learnable parameters of BN are commonly used in conditional Generative Adversarial Networks for representing class-specific information using conditional Batch Normalization (cBN). In this paper we propose to generalize both BN and cBN using a Whitening and Coloring based batch normalization. We apply our method to conditional and unconditional image generation tasks and we show that replacing the BN feature standardization and scaling with our feature whitening and coloring improves the final qualitative results and the training speed. We test our approach on different datasets and we show a consistent improvement orthogonal to different GAN frameworks. Our CIFAR-10 supervised results are higher than all previous works on this dataset.

연구 동기 및 목표

• 배치 정규화(BN)와 조건부 배치 정규화(cBN)의 한계를 해결하기 위해 더 일반화 가능한 정규화 기법을 도입함으로써 GAN에서의 성능을 향상시키는 것.
• 무조건적 및 조건부 이미지 생성 작업에서 학습 효율성과 생성 품질을 향상시키는 것.
• BN 또는 cBN보다 더 효과적으로 클래스별 및 특성 수준의 통계를 포착하는 정규화 방법을 개발하는 것.
• 다양한 데이터셋과 GAN 아키텍처에서 일관된 성능 향상을 입증하는 것.

제안 방법

• BN 및 cBN의 표준 특성 정규화를 배치 수준의 특성 통계에 기반한 학습 가능한 화이트닝 및 칼라링 변환(WCT)으로 대체함.
• 특성 간 상관관계를 해소하고 단위 분산으로 정규화하기 위해 화이트닝 연산을 적용한 후, 특성 상관관계를 복원하고 조절하기 위해 학습 가능한 칼라링 변환을 수행함.
• 무조건적 및 조건부 GAN 프레임워크의 생성자 및 판별자 네트워크에 WCT를 통합함.
• GAN과 함께 WCT 파라미터를 엔드 투 엔드로 훈련시켜 생성에 최적화된 특성 변환을 학습할 수 있도록 함.
• 백프로파게이션과 GAN 목표 함수와 함께 공동 최적화가 가능한, 미분 가능한 WCT 수식을 사용함.

실험 결과

연구 질문

• RQ1 BN 또는 cBN보다 더 일반적인 정규화 기법이 GAN에서 학습 속도와 이미지 품질 향상에 기여할 수 있는가?
• RQ2 이미지 생성을 위한 특성 표현 학습 측면에서 WCT는 BN 및 cBN에 비해 어떻게 비교되는가?
• RQ3 WCT는 다양한 데이터셋과 GAN 아키텍처에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ4 조건부 GAN에서 WCT는 cBN보다 더 나은 클래스별 표현을 학습할 수 있는가?

주요 결과

• 제안된 WCT 방법은 CIFAR-10에서 이전 모든 연구를 능가하는 최신 기준 FID 점수를 달성한다.
• 표준 BN 및 cBN에 비해 WCT를 사용할 경우 수렴 속도가 빠르며, 최적화 역학 향상이 확인된다.
• 정성적 결과에서는 다양한 데이터셋에서 더 높은 품질과 더 다양한 이미지 샘플이 생성됨을 확인할 수 있다.
• 다양한 GAN 프레임워크에 걸쳐 잘 일반화되며, 아키텍처 선택과 관계없이 일관된 성능 향상을 보여준다.