[논문 리뷰] Whitening and Coloring batch transform for GANs

Aliaksandr Siarohin, Enver Sangineto외 1명|arXiv (Cornell University)|2018. 06. 01.

Human Pose and Action Recognition인용 수 15

한 줄 요약

이 논문은 GAN 및 cGAN에서 학습 안정성과 생성 품질을 향상시키기 위해 화이트닝 및 칼라링( WC) 배치 정규화 변환을 제안한다. 표준 배치 정규화를 코초레스키 분해를 통한 전체 특징 화이트닝과 학습 가능한 다변량 칼라링 변환으로 대체하여 표현 능력을 향상시키고, cGAN에서 더 효과적인 클래스별 조건화를 가능하게 한다. CIFAR-10 및 CIFAR-100에서 최신 기준 FID 점수를 달성한다.

ABSTRACT

Batch Normalization (BN) is a common technique used to speed-up and stabilize training. On the other hand, the learnable parameters of BN are commonly used in conditional Generative Adversarial Networks (cGANs) for representing class-specific information using conditional Batch Normalization (cBN). In this paper we propose to generalize both BN and cBN using a Whitening and Coloring based batch normalization. We show that our conditional Coloring can represent categorical conditioning information which largely helps the cGAN qualitative results. Moreover, we show that full-feature whitening is important in a general GAN scenario in which the training process is known to be highly unstable. We test our approach on different datasets and using different GAN networks and training protocols, showing a consistent improvement in all the tested frameworks. Our CIFAR-10 conditioned results are higher than all previous works on this dataset.

연구 동기 및 목표

• 전체 특징 화이트닝을 통해 손실 표면의 조건화를 개선하여 GAN 학습의 불안정성을 해결한다.
• 스칼라 스케일링-시프트 파라미터를 학습 가능한 다변량 칼라링 필터로 대체하여 조건부 배치 정규화(cBN)를 일반화함으로써 더 나은 클래스별 표현을 가능하게 한다.
• 클래스에 독립적인 필터의 공유 사전을 사용하고 클래스별 칼라링 행렬을 위한 소프트 할당 가중치를 도입하여 cGAN의 모델 복잡도를 감소시킨다.
• 다양한 데이터셋과 GAN 아키텍처에서 일관된 학습 속도 향상과 생성 품질 향상을 입증한다.

제안 방법

• 미니배치 내 채널 간 특징 간 상관관계를 제거하기 위해 코초레스키 기반 화이트닝을 적용하여 표준 BN의 채널별 정규화를 대체한다.
• 학습 가능한 칼라링 변환을 도입하여 화이트닝된 특징을 다변량 필터를 사용해 새로운 분포로 재프로젝션함으로써 표현 능력을 유지한다.
• cGAN에서 cBN의 스칼라 γ 및 β 파라미터를 클래스별 칼라링 행렬 Γy로 대체하여 더 풍부하고 표현력 있는 조건부 특징 변환을 가능하게 한다.
• 각 클래스 y가 공유된 기본 필터 집합의 가중 조합과 연결되는 소프트 할당 메커니즘을 사용하여 클래스 수 증가에 따른 파라미터 증가를 줄인다.
• WC 및 cWC 모듈을 생성자 네트워크에 플러그인 방식으로 통합하여 표준 GAN 학습 프로토콜과 호환되도록 한다.
• 모든 생성자 레이어에 WC 변환를 적용하고 표준 적대적 손실을 사용하여 학습하며, Inception Score(IS)와 Fréchet Inception Distance(FID)를 평가 지표로 사용한다.

실험 결과

연구 질문

• RQ1 표준 배치 정규화와 비교해 코초레스키 분해를 통한 전체 특징 화이트닝이 GAN에서 학습 안정성과 수렴성 향상에 기여하는가?
• RQ2 스칼라 cBN 파라미터를 학습 가능한 다변량 칼라링 행렬로 대체함으로써 cGAN에서 클래스별 정보 표현이 향상되는가?
• RQ3 칼라링 필터에 대한 제안된 소프트 할당 메커니즘이 클래스 수 증가에 따라 모델 복잡도와 성능에 어떤 영향을 미치는가?
• RQ4 BN 및 DBN과 비교해 GAN에서 WC 변환은 분류 작업과 비교해 유의미한 성능 향상을 제공하는가?
• RQ5 제안된 방법이 무조건적 및 조건부 GAN 환경에서 표준 벤치마크인 CIFAR-10 및 CIFAR-100에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 제안된 WC 방법은 CIFAR-10에서 Fréchet Inception Distance(FID) 13.5를 기록하여 이 벤치마크에서 모든 이전 작업을 능가한다.
• CIFAR-100에서 cWC 방법은 Inception Score 9.52 및 FID 17.2를 기록하며, cBN 및 c-std-C 기준보다 유의미하게 뛰어나다.
• 대각선 칼라링 행렬을 사용하는 cWC-diag 변종은 CIFAR-100에서 전체 cWC보다 성능이 열 劣하므로, 고클래스 수 환경에서 전체 상관관계 제거 및 다변량 칼라링이 필수적임을 시사한다.
• 소프트 할당 변종 $cWC_{sa}$는 클래스 수 증가에 따른 파라미터 증가를 줄이며, Tiny ImageNet에서 표준 cWC보다 뛰어난 성능을 달성하여 확장성을 입증한다.
• 분류 작업에서는 DBN(ZCA 기반 화이트닝 + 스케일링)과 유사한 성능를 보였지만, GAN에서는 성능 격차가 훨씬 크므로 전체 화이트닝이 적대적 학습에서 더 중요함을 시사한다.
• 절단 실험 결과 전체 화이트닝 후 칼라링이 필수적임을 확인함 — 동일한 파라미터 수를 가진 c-std-C 및 cWC 변종은 전체 WC 성능을 따라잡지 못함.