[논문 리뷰] Comparison and Analysis of Image-to-Image Generative Adversarial Networks: A Survey

Sagar Saxena, Mohammad Nayeem Teli|arXiv (Cornell University)|2021. 12. 23.

Generative Adversarial Networks and Image Synthesis인용 수 16

한 줄 요약

이 종합 검토는 Pix2Pix, CycleGAN, CoGAN, StarGAN, MUNIT, StarGAN2, DA-GAN, Self-Attention GAN의 여덟 가지 최신 이미지 간 변환 GAN 모델을 비교 분석하여 아키텍처, 손실 함수, 데이터셋 및 평가 지표를 다룹니다. 주요 기여는 네 가지 데이터셋과 두 가지 평가 지표를 사용해 여섯 모델에 대한 통제된 실험을 수행한 것으로, 어떤 모델도 모든 작업에서 일관되게 뛰어나지 않음을 확인하였으며, 특히 소규모 데이터셋에서 이미지 품질, 다양성 및 일반화 능력 간의 상충 관계를 드러냈습니다.

ABSTRACT

Generative Adversarial Networks (GANs) have recently introduced effective methods of performing Image-to-Image translations. These models can be applied and generalized to a variety of domains in Image-to-Image translation without changing any parameters. In this paper, we survey and analyze eight Image-to-Image Generative Adversarial Networks: Pix2Pix, CycleGAN, CoGAN, StarGAN, MUNIT, StarGAN2, DA-GAN, and Self Attention GAN. Each of these models presented state-of-the-art results and introduced new techniques to build Image-to-Image GANs. In addition to a survey of the models, we also survey the 18 datasets they were trained on and the 9 metrics they were evaluated on. Finally, we present results of a controlled experiment for 6 of these models on a common set of metrics and datasets. The results were mixed and showed that, on certain datasets, tasks, and metrics, some models outperformed others. The last section of this paper discusses those results and establishes areas of future research. As researchers continue to innovate new Image-to-Image GANs, it is important to gain a good understanding of the existing methods, datasets, and metrics. This paper provides a comprehensive overview and discussion to help build this foundation.

연구 동기 및 목표

• 여덟 가지 주요 이미지 간 변환 GAN 모델에 대한 상세한 비교 분석을 제공하여 아키텍처 설계 및 손실 함수 선택에 초점을 맞춥니다.
• 이들 모델에서 사용된 18개의 데이터셋과 9개의 평가 지표를 조사하여 재현 가능성과 모델 선택을 지원합니다.
• 공통된 데이터셋과 평가 지표를 사용해 여섯 모델을 통제된 실험으로 비교하여 성능의 상충 관계를 규명합니다.
• 소규모 데이터셋에서의 일반화 능력 향상의 여전한 격차와 적절한 평가 지표 및 감독 수준 선택의 중요성을 규명함으로써 향후 연구를 안내합니다.

제안 방법

• 논문은 여덟 가지 이미지 간 변환 GAN의 아키텍처, 학습 목표, 그리고 주목할 만한 혁신 요소(예: 어텐션 메커니즘, 분리된 표현)를 분석하여 심층적인 종합 검토를 수행합니다.
• 이전 연구에서 사용된 18개의 공개 데이터셋과 9개의 평가 지표를 종합 및 요약하여 데이터셋 및 지표 선택에 대한 참고 자료를 제공합니다.
• 통제된 실험을 통해 FID와 LPIPS 지표를 사용해 네 가지 벤치마크 데이터셋에서 Pix2Pix, CycleGAN, MUNIT, StarGAN2, SA-Img2Img, DA-GAN의 여섯 모델을 평가합니다.
• 모델 간 공정한 비교를 보장하기 위해 고정된 초모수와 학습 프로토콜을 사용합니다.
• 시각적 및 정량적 결과를 분석하여 다양한 작업과 데이터 분포에서 이미지 품질, 다양성 및 일관성 수준을 평가합니다.
• CoGAN과 DA-GAN에 대한 아블레이션 유사 분석을 수행하며, 학습 불안정성과 원본 결과와의 성능 격차를 기록합니다.

실험 결과

연구 질문

• RQ1 다양한 데이터셋과 작업에서 어떤 이미지 간 변환 GAN 모델이 가장 우수한 성능을 보이며, 어떤 조건에서 다른 모델을 능가하는가?
• RQ2 다양한 손실 함수와 아키텍처 구성 요소(예: 어텐션, 분리)가 번역 작업에서 이미지 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 모델이 소규모 또는 자원이 부족한 데이터셋으로 일반화되는 정도는 어느 정도이며, 이는 성능에 어떤 영향을 미치는가?
• RQ4 FID, LPIPS 등 평가 지표 중 어떤 것이 이미지 간 변환에서의 정성적 품질과 다양성을 가장 잘 반영하는가?
• RQ5 현재 모델의 주요 한계는 무엇이며, 짝지어진 데이터와 짝지어지지 않은 데이터 설정 간 성능에 따라 어떻게 다를까?

주요 결과

• Pix2Pix는 대규모 데이터셋에서 짝지어진 데이터에 대해 뛰어난 성능을 보였지만, 소규모 데이터셋에서는 일반화 능력에 어려움을 겪었다.
• CycleGAN은 다양한 작업에서 일관된 성능을 보였지만, 이미지 품질 지표에서 항상 StarGAN2 또는 SA-Img2Img에 뒤지며 성능이 열 劣하였다.
• MUNIT는 동일한 입력에 대해 다양한 출력을 생성했지만, 이는 종종 이미지 품질 저하와 CycleGAN에 비해 낮은 일관성으로 이어졌다.
• SA-Img2Img와 StarGAN2는 성능이 번갈아가며, 성공했을 땐 가장 높은 품질의 출력을 내었지만, 특정 작업에서는 실패율도 높았다.
• CoGAN은 공식 PyTorch 구현을 사용해 테스트된 모든 데이터셋에서 성공적으로 학습되지 않았으며, FID 점수가 300 이상이었고 정밀도/재현율이 0이었으며, 이는 모델 붕괴를 의미한다.
• 결과적으로 어떤 모델도 항상 최적의 성능을 보이지 않으며, 성능는 데이터셋 크기, 데이터 짝짓기 여부, 평가 지표 선택에 따라 크게 달라진다.