[논문 리뷰] Group Equivariant Generative Adversarial Networks

Neel Dey, Antong Chen외 1명|arXiv (Cornell University)|2020. 05. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 74인용 수 8

한 줄 요약

이 논문은 군-컨볼루션을 사용하여 회전 및 반사와 같은 대칭성 우선 사전 조건을 생성자 및 판별자 아키텍처에 명시적으로 통합한 군-등변 생성 적대 신경망(GE-GANs)을 소개한다. 표준 컨볼루션을 군-등변 레이어로 대체함으로써, 특히 저자료 환경에서 표본 효율성, 생성 품질 및 학습 안정성이 향상되며, 현대 GAN 학습 기법과 원활하게 통합된다.

ABSTRACT

Recent improvements in generative adversarial visual synthesis incorporate real and fake image transformation in a self-supervised setting, leading to increased stability and perceptual fidelity. However, these approaches typically involve image augmentations via additional regularizers in the GAN objective and thus spend valuable network capacity towards approximating transformation equivariance instead of their desired task. In this work, we explicitly incorporate inductive symmetry priors into the network architectures via group-equivariant convolutional networks. Group-convolutions have higher expressive power with fewer samples and lead to better gradient feedback between generator and discriminator. We show that group-equivariance integrates seamlessly with recent techniques for GAN training across regularizers, architectures, and loss functions. We demonstrate the utility of our methods for conditional synthesis by improving generation in the limited data regime across symmetric imaging datasets and even find benefits for natural images with preferred orientation.

연구 동기 및 목표

• 의료 영상 및 천체 사진과 같은 대칭적인 이미지 모odal리티에 대해 저자료 환경에서 GAN의 불안정성과 낮은 표본 효율성을 해결한다.
• 데이터 증강 및 일致성 정규화의 한계를 극복하여, 등변성 학습에 네트워크 용량을 낭비하는 대신 주된 생성 작업에 집중한다.
• 예를 들어, 회전 및 반사와 같은 기하학적 대칭성의 인덕티브 바이어스를 군-등변 컨볼루션을 통해 GAN 아키텍처에 직접 통합한다.
• 군-등변성이 생성자 및 판별자 성능을 향상시키며, 현대 GAN 학습 기법과의 호환성을 해치지 않음을 입증한다.
• 군-컨볼루션 레이어의 구조적 가중치 공유를 통해 대칭성 우선 사전 조건을 활용하여, 제한된 자료 환경에서 조건부 이미지 생성을 향상시킨다.

제안 방법

• 생성자 및 판별자 내 표준 컨볼루션 레이어를 특정 대칭군에 대해 등변성을 보장하는 군-컨볼루션(예: $p4$, $z2$-등변)으로 대체한다.
• 90도 회전 대칭성을 가진 데이터(예: Food-101, Pix2Pix)에는 $p4$-등변 컨볼루션을 사용하고, 이동만 불변인 경우 $z2$-등변 컨볼루션을 사용한다.
• 특수 설계된 잔여 블록($p4$-ResBlockG, $p4$-ResBlockD)을 설계하여 $p4$-배치 정규화와 군별 특징 변환을 통해 군-등변성을 유지한다.
• 표준 GAN 아키텍처(예: StyleGAN, Pix2Pix)에 군-등변 레이어를 최소한의 아키텍처 변경으로 통합하여, 손실 함수 및 정규화 기법과의 호환성을 유지한다.
• 판별자에서 군 대칭 특징 공간에 대해 전역 평균 풀링을 적용하여 실재/가짜 분류를 위한 단일 스칼라 출력을 생성한다.
• 생성자에서 스킵 연결 내 군-등변 업샘플링 및 연결을 적용하여 특징 재구성 과정에서 대칭성을 유지한다.

실험 결과

연구 질문

• RQ1 GAN 내 명시적 군-등변성이 저자료 환경에서 표본 효율성과 생성 품질을 향상시키는가?
• RQ2 데이터 증강 또는 일치성 정규화를 사용한 표준 GAN과 비교할 때 군-등변 GAN 학습은 안정성과 품질 측면에서 어떻게 다른가?
• RQ3 기본 데이터가 회전 또는 반사 대칭성을 보일 경우 군-등변 네트워크가 조건부 이미지 생성에 얼마나 기여하는가?
• RQ4 스펙트럼 정규화, 인스턴스 정규화와 같은 현대 GAN 학습 기법과 군-등변성을 통합해도 안정적이고 효과적인가?
• RQ5 완벽하지 않은 대칭성조차도 존재하는 자연 이미지에 대해 군-등변 GAN이 일반화 가능한가?

주요 결과

• 제한된 훈련 데이터로 대칭 데이터셋(예: Food-101, 의료 영상)에서 GE-GANs는 표준 GAN 및 증강 기반 기준선보다 뛰어난 시각적 품질과 학습 안정성을 확보한다.
• Food-101에서 $p4$-등변 생성자 및 판별자를 사용할 경우, 저자료 조건에서 표본 다양성과 품질 향상에 기여하는 인ception 스코어와 FID 지표에서 뚜렷한 향상을 보였다.
• 군-등변 네트워크는 더 많은 가중치 공유와 구조적 특징 학습 덕분에 더 나은 기울기 피드백과 더 빠른 수렴을 보이며, 모드 붕괴를 감소시켰다.
• 이 방법은 대칭 데이터를 넘어서 일반화된다: 자연 이미지(예: Pix2Pix에서)에도 선호되는 방향이 존재하나, $p4$-등변성 덕분에 이미지 재구성 품질이 향상되었다.
• GE-GANs는 스펙트럼 정규화, 인스턴스 정규화, L1 및 적대적 손실과 같은 고급 GAN 학습 기법과 호환성을 유지한다.
• 제거 실험 결과, 데이터 증강 없이도 군-등변성 자체가 표준 GAN에 증강 기법을 적용한 것보다 더 높은 성능을 내어, 인덕티브 바이어스가 정규화된 등변성 학습보다 더 효과적임을 입증했다.