[논문 리뷰] Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey

Shiv Ram Dubey, Satish Kumar Singh|arXiv (Cornell University)|2023. 02. 17.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 컴퓨터 시각 분야에서 Transformer 기반 생성 적대적 네트워크(GAN)에 대한 종합적인 서베이를 제시하며, 아키텍처, 훈련 전략, 그리고 이미지 및 영상 합성 작업에서의 성능을 분석한다. 컨볼루션 네트워크(CNN)의 국소적 인덕티브 바이어스와 Transformer의 자기주의(Self-attention)를 통한 전역 모델링의 융합을 강조하며, 기준 데이터셋에서 FID, PSNR, SSIM 등의 지표를 사용하여 이미지 생성, 번역, 영상 합성에서 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Generative Adversarial Networks (GANs) have been very successful for synthesizing the images in a given dataset. The artificially generated images by GANs are very realistic. The GANs have shown potential usability in several computer vision applications, including image generation, image-to-image translation, video synthesis, and others. Conventionally, the generator network is the backbone of GANs, which generates the samples and the discriminator network is used to facilitate the training of the generator network. The discriminator network is usually a Convolutional Neural Network (CNN). Whereas, the generator network is usually either an Up-CNN for image generation or an Encoder-Decoder network for image-to-image translation. The convolution-based networks exploit the local relationship in a layer, which requires the deep networks to extract the abstract features. Hence, CNNs suffer to exploit the global relationship in the feature space. However, recently developed Transformer networks are able to exploit the global relationship at every layer. The Transformer networks have shown tremendous performance improvement for several problems in computer vision. Motivated from the success of Transformer networks and GANs, recent works have tried to exploit the Transformers in GAN framework for the image/video synthesis. This paper presents a comprehensive survey on the developments and advancements in GANs utilizing the Transformer networks for computer vision applications. The performance comparison for several applications on benchmark datasets is also performed and analyzed. The conducted survey will be very useful to deep learning and computer vision community to understand the research trends \& gaps related with Transformer-based GANs and to develop the advanced GAN architectures by exploiting the global and local relationships for different applications.

연구 동기 및 목표

• 문헌에서 아직 이러한 서베이가 존재하지 않기 때문에, 컴퓨터 시각 분야에서 Transformer 기반 GAN에 대한 첫 번째 종합적 서베이를 제공하는 것.
• 이미지 생성, 이미지 간 번역, 영상 합성, 복원 작업과 같은 핵심 응용 분야에서 Transformer 기반 GAN 모델을 분류하고 분석하는 것.
• 기준 데이터셋에서 FID, PSNR, SSIM와 같은 표준 지표를 사용하여 최신 기술 모델을 비교하는 것.
• Transformer와 GAN을 융합하여 시각적 합성 성능을 향상시키기 위한 연구 트렌드, 열린 과제 및 향후 연구 방향을 규명하는 것.
• 국소적 및 전역적 특징 표현을 효과적으로 활용할 수 있는 고도의 GAN 아키텍처 설계를 연구자들이 안내하는 것.

제안 방법

• 이 서베이는 생성자 및 판별자 아키텍처 기반으로 Transformer 기반 GAN을 체계적으로 분류하며, 이는 비전 트랜스포머(Vision Transformers), 스위인 트랜스포머(Swin Transformers), 그리고 하이브리드 CNN-Transformer 설계를 포함한다.
• 훈련 안정성과 합성 품질 평가를 위해, 생성 적대적 손실, 지각적 손실, 사이클 일致성 손실, 마스킹된 자동에코딩 등을 포함한 목적 함수를 분석한다.
• 이미지 및 영상 작업을 위해 CIFAR-10, CelebA, Cityscapes, LSUN 등의 다양한 기준 데이터셋을 평가 대상으로 삼는다.
• 프레셰 인ception 거리(Fréchet Inception Distance, FID), 피크 신호 대 잡음 비율(Peak Signal-to-Noise Ratio, PSNR), 구조적 유사성 인덱스(Signature Similarity Index, SSIM)와 같은 지표를 사용해 성능을 비교한다.
• 교차 어텐션, 멀티헤드 자기주의, CNN과 트랜스포머를 조합한 하이브리드 인코더와 같은 아키텍처 혁신을 분석한다.
• 일반화 성능 향상을 위해 프로그레시브 성장, 마스킹 기반 사전 훈련, 자기지도 학습과 같은 훈련 기법도 논의한다.

실험 결과

연구 질문

• RQ1 Transformer 기반 GAN은 전통적인 CNN 기반 GAN에 비해 이미지 및 영상 합성에서 장거리 의존성을 어떻게 더 잘 모델링하는가?
• RQ2 이미지 및 영상 생성에서 최신 성능을 내는 데 기여하는 핵심 아키텍처 구성 요소들 — 예를 들어 자기주의, 교차 어텐션, 또는 하이브리드 CNN-Transformer 블록 — 는 무엇인가?
• RQ3 생성 적대적 손실, 지각적 손실, 사이클 일치성 손실과 같은 다양한 손실 함수는 생성된 이미지 및 영상의 품질과 안정성에 어떻게 영향을 미치는가?
• RQ4 특히 효율성, 일반화 능력, 하이퍼파rameter 민감도 측면에서, Transformer 기반 GAN의 훈련 및 구현에 있어 현재의 제약 사항과 열린 과제는 무엇인가?
• RQ5 Transformer를 활용해 국소적 및 전역적 표현을 더욱 효과적으로 융합할 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• Transformer 기반 GAN은 전역적 의존성을 더 잘 모델링함으로써, 더 높은 품질의 이미지 및 영상 합성 성능를 달성한다.
• 생성자에 비전 트랜스포머(Vision Transformer, ViT)와 스위인 트랜스포머(Swin Transformer)를 사용한 모델은 CIFAR-10 및 CelebA와 같은 이미지 생성 기준 데이터셋에서 최신 기술 수준의 FID 점수를 달성한다.
• U-형 아키텍처에서 CNN 기반 인코더와 Transformer 기반 디코더를 조합한 하이브리드 설계는 이미지 간 번역 및 이미지 복원 작업에서 뛰어난 성능을 보인다.
• CNN의 국소적 인덕티브 바이어스와 트랜스포머의 전역 모델링 능력을 융합한 하이브리드 아키텍처는 이미지 생성 및 슈퍼해상도 작업에서 안정성과 지각적 품질 향상에 기여한다.
• 생성자에서 교차 어텐션과 마스킹 토큰 예측을 사용하면, 이미지 인painting 및 영상 합성과 같은 작업에서 특징 정렬 및 재구성 정밀도가 향상된다.
• 다른 성과에도 불구하고, 훈련 불안정성과 높은 계산 비용은 여전히 과제로 남아 있으며, 특히 영상 합성 및 고해상도 합성에서 개선된 손실 함수와 훈련 전략이 필요함을 시사한다.