[논문 리뷰] A survey on GANs for computer vision: Recent research, analysis and taxonomy

Guillermo Iglesias, Edgar Talavera외 1명|arXiv (Cornell University)|2022. 03. 21.

Advanced Neural Network Applications인용 수 8

한 줄 요약

이 종합적 서베이는 컴퓨터 시각 분야에서 최근 Generative Adversarial Networks (GANs)의 발전을 포괄적으로 개요하며, 아키텍처와 손실 함수 최적화 기반으로 GAN 유형을 분류한다. 학습 안정성, FID 및 IS와 같은 평가 지표, 그리고 이미지 생성, 번역, 합성 분야의 응용을 분석하며, 확산 모델이 안정성과 다양성 측면에서 GAN을 능가하고 있음에도 불구하고, TransGAN과 같은 아키텍처를 통해 효율성과 적응 가능성 덕분에 GAN은 여전히 영향력이 있다.

ABSTRACT

In the last few years, there have been several revolutions in the field of deep learning, mainly headlined by the large impact of Generative Adversarial Networks (GANs). GANs not only provide an unique architecture when defining their models, but also generate incredible results which have had a direct impact on society. Due to the significant improvements and new areas of research that GANs have brought, the community is constantly coming up with new researches that make it almost impossible to keep up with the times. Our survey aims to provide a general overview of GANs, showing the latest architectures, optimizations of the loss functions, validation metrics and application areas of the most widely recognized variants. The efficiency of the different variants of the model architecture will be evaluated, as well as showing the best application area; as a vital part of the process, the different metrics for evaluating the performance of GANs and the frequently used loss functions will be analyzed. The final objective of this survey is to provide a summary of the evolution and performance of the GANs which are having better results to guide future researchers in the field.

연구 동기 및 목표

• 최근 컴퓨터 시각 분야의 GAN 아키텍처와 손실 함수 최적화에 대한 체계적인 분류 체계를 제공하기.
• 모드 붕괴와 안정성 문제 등 GAN 학습의 핵심 과제를 분석하고 제안된 해결책을 평가하기.
• GAN 성능과 일반화 능력을 평가하기 위한 표준 지표들(예: FID, IS)을 검토하고 비교하기.
• 이미지 간 번역, 텍스트 기반 이미지 생성, 영상 합성, 약물 발견과 같은 실제 응용 분야에서 GAN의 응용을 요약하기.
• 안정성, 다양성, 계산 비용 측면에서 확산 모델과 같은 새로운 대안과의 비교를 통해 GAN의 성능을 분석하기.

제안 방법

• 220篇 이상의 최근 GAN 논문을 체계적으로 검토하여 아키텍처 혁신과 손실 함수 설계에 중점을 둔다.
• GAN 유형을 두 가지 주요 범주로 분류한다: 아키텍처 최적화 GAN(예: TransGAN, StyleGAN)과 손실 함수 최적화 GAN(예: WGAN, SAGAN).
• Fréchet Inception Distance(FID), Inception Score(IS), 정밀도/재현율 등의 표준 지표를 사용하여 GAN 성능을 평가하며, 각 지표의 강점과 한계를 분석한다.
• 트랜스포머를 GAN에 통합한 하이브리드 아키텍처를 검토한다. 예를 들어 TransGAN은 자기주의 기반 메커니즘을 사용해 합성곱 계층을 대체하여 고해상도 이미지 생성을 가능하게 한다.
• 기본 데이터를 공유하지 않고도 로컬에서 학습하고 글로벌 모델을 업데이트하는 방식으로 기밀 보호를 위한 연합 GAN을 논의한다.
• GAN과 확산 모델을 비교하며, 뛰어난 안정성, 모드 붕괴 없음, 가능도 기반 학습 등의 장점을 강조하지만, 추론 비용이 높다는 점을 지적한다.

실험 결과

연구 질문

• RQ1 최근 GAN 아키텍처는 학습 불안정성과 모드 붕괴 문제를 어떻게 해결하기 위해 진화해 왔는가?
• RQ2 컴퓨터 시각 작업에서 GAN 성능을 평가하기 위해 가장 효과적인 손실 함수와 평가 지표는 무엇인가?
• RQ3 GAN은 어떤 응용 분야에서 최신 기술 수준의 성능을 보였으며, 확산 모델과 비교해 봤을 때 어떤가?
• RQ4 TransGAN과 같은 트랜스포머 기반 GAN은 합성곱 기반 GAN에 비해 이미지 생성 품질과 해상도를 어떻게 향상시키는가?
• RQ5 학습 안정성, 추론 속도, 샘플 다양성 측면에서 GAN과 확산 모델 간의 상충 관계는 무엇인가?

주요 결과

• 자기주의 기반 메커니즘을 사용하는 합성곱이 없는 TransGAN은 기존의 합성곱 기반 GAN에 비해 CIFAR-10에서 더 낮은 FID와 높은 Inception Score를 달성한다.
• 확산 모델은 안정성과 샘플 다양성 측면에서 GAN을 능가하며, 모드 붕괴를 피하고 가능도 기반 생성을 제공하지만, 더 높은 계산 비용을 수반한다.
• 연합 GAN은 기밀 보호를 위한 약물 분자 생성을 가능하게 하여 높은 신규성과 다양성을 달성하며, 민감한 클라이언트 데이터를 공유하지 않는다.
• WGAN 및 SAGAN에서처럼 손실 함수 최적화는 원래 GAN 설정에 비해 학습 안정성과 샘플 품질을 크게 향상시킨다.
• 트랜스포머를 GAN에 통합함으로써 장거리 의존성 모델링이 향상되어 보행자 경로 예측과 같은 순차적 작업에서 성능이 향상된다.
• 확산 모델의 부상에도 불구하고, GAN은 실시간 및 자원 제약 조건에서의 효율성과 뛰어난 성능 덕분에 여전히 관련성이 있다.