[논문 리뷰] Generative Adversarial Transformers

Drew A. Hudson, C. Lawrence Zitnick|arXiv (Cornell University)|2021. 03. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 66인용 수 18

한 줄 요약

이 논문은 이미지 생성에서 장거리 주의를 효율적으로 구현하기 위해 상향식 및 하향식 상호작용을 통해 이미지 특징과 잠재 변수를 반복적으로 개선하는 새로운 이분형 트랜스포머 아키텍처인 GANformer를 소개한다. 이는 합성 및 실제 데이터셋 모두에서 이미지 품질, 다양성, 분리성 측면에서 최신 기준 성능을 달성하며, 기존 GAN 및 트랜스포머 대비 더 높은 데이터 효율성과 더 빠른 수렴 속도를 보인다.

ABSTRACT

We introduce the GANformer, a novel and efficient type of transformer, and explore it for the task of visual generative modeling. The network employs a bipartite structure that enables long-range interactions across the image, while maintaining computation of linear efficiency, that can readily scale to high-resolution synthesis. It iteratively propagates information from a set of latent variables to the evolving visual features and vice versa, to support the refinement of each in light of the other and encourage the emergence of compositional representations of objects and scenes. In contrast to the classic transformer architecture, it utilizes multiplicative integration that allows flexible region-based modulation, and can thus be seen as a generalization of the successful StyleGAN network. We demonstrate the model's strength and robustness through a careful evaluation over a range of datasets, from simulated multi-object environments to rich real-world indoor and outdoor scenes, showing it achieves state-of-the-art results in terms of image quality and diversity, while enjoying fast learning and better data-efficiency. Further qualitative and quantitative experiments offer us an insight into the model's inner workings, revealing improved interpretability and stronger disentanglement, and illustrating the benefits and efficacy of our approach. An implementation of the model is available at https://github.com/dorarad/gansformer.

연구 동기 및 목표

• 이미지 생성에서 장거리 의존성과 복합적 장면 구조를 모델링하는 데 있어 표준 트랜스포머 및 CNN의 한계를 해결하기 위해.
• 해당 기능을 개선된 해석 가능성과 데이터 효율성으로 통합하기 위해 상향식 및 하향식 주의 메커니즘을 생성 모델링 프레임워크에 통합하기 위해.
• 선형 복잡도를 유지하면서도 고해상도 이미지 합성에서 전역적 맥락 모델링이 가능한 확장 가능한 트랜스포머 기반 아키텍처를 개발하기 위해.
• 특히 다강인물 장면을 포함한 복합적 시각적 생성 작업에서 모델 성능을 평가하고, 이미지 품질, 다양성, 분리성 측면에서의 우수성을 입증하기 위해.

제안 방법

• GANformer는 이미지 특징과 잠재 변수 간에 번갈아가며 업데이트하는 이분형 주의 메커니즘을 사용하여 이중 방향 정보 흐름을 가능하게 한다.
• 다양한 잠재 벡터로의 스타일 조절을 일반화하는 유연하고 영역 기반의 조절을 위한 곱셈 통합을 사용한다.
• 단순형 및 双형 주의 연산을 적용한다: 단순형은 단방향(잠재 → 이미지) 흐름을 위해, 双형은 이중 방향 상호작용을 위해.
• 모델은 양쪽 표현을 반복적으로 개선하여 반복적 개선을 통해 복합적이고 분리된 표현의 출현을 지원한다.
• 모든 이미지 토큰에 대한 전체 자기 주의를 피하기 위해, 압축된 잠재 변수 집합을 복잡도의 복잡도를 유지하기 위해 브로드캐스트로 사용한다.
• 생성자에 이분형 트랜스포머를 사용하고, 판별자는 실제 이미지와 생성된 이미지를 처리하는 GAN 목적함수를 사용하여 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 잠재 변수와 이미지 특징 간의 반복적이고 이중 방향 개선을 수행하는 이분형 트랜스포머 아키텍처가 이미지 생성 품질과 다양성 향상에 기여하는가?
• RQ2 제안된 주의 메커니즘이 다강인물 장면에서 객체 정체성, 위치, 크기와 같은 의미적 요소의 더 나은 분리성을 가능하게 하는가?
• RQ3 표준 GAN 및 트랜스포머 대비 GANformer가 데이터 효율성과 훈련 속도 향상에 얼마나 기여하는가?
• RQ4 모델의 내부 주의 메커니즘이 장면 구조의 복합적이고 해석 가능한 표현을 어떻게 반영하는가?

주요 결과

• CLEVR 데이터셋에서 GANformer는 FID 점수 2.887을 기록하여 StyleGAN(6.435) 및 기타 기준 모델을 크게 앞서며 최신 기준 성능을 달성했다.
• CLEVR 데이터셋에서 GANformer는 DCI 분리성 점수 0.768과 모듈화도 0.952를 기록하여 이미지 속성에서 잠재 요소의 강력한 분리성을 나타냈다.
• 모델은 더 뛰어난 이미지 다양성을 보였으며, 카이제곱 통계량을 통해 다강인물 장면에서 의미적 속성의 균일 분포를 더 잘 커버함을 확인했다.
• 제거 실험 결과에서 주의를 더 이르게 그리고 더 많은 레이어에 적용할수록 성능 향상과 함께 훈련 속도 향상이 확인되어 장거리 상호작용의 중요성을 입증했다.
• GANformer는 더 적은 훈련 스텝과 더 적은 데이터 샘플로도 고품질 결과에 수렴함을 보이며 더 높은 데이터 효율성을 입증했다.
• 주의 맵의 시각화 결과는 객체 수준의 구조와 일치하는 일관되고 국소화된, 해석 가능한 주의 패턴을 보였으며, 이는 모델의 복합적 추론 능력을 뒷받침한다.