[논문 리뷰] Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications

Ming-Yu Liu, Xun Huang외 3명|arXiv (Cornell University)|2020. 08. 06.

Advanced Image Processing Techniques참고 문헌 250인용 수 33

한 줄 요약

이 논문은 이미지 및 비디오 합성을 위한 GAN에 대한 포괄적 개요를 제공하며, 학습 안정화 기술, 아키텍처, 이미지 번역에서 신경 렌더링에 이르는 다양한 응용 및 범위를 자세히 다룬다.

ABSTRACT

The generative adversarial network (GAN) framework has emerged as a powerful tool for various image and video synthesis tasks, allowing the synthesis of visual content in an unconditional or input-conditional manner. It has enabled the generation of high-resolution photorealistic images and videos, a task that was challenging or impossible with prior methods. It has also led to the creation of many new applications in content creation. In this paper, we provide an overview of GANs with a special focus on algorithms and applications for visual synthesis. We cover several important techniques to stabilize GAN training, which has a reputation for being notoriously difficult. We also discuss its applications to image translation, image processing, video synthesis, and neural rendering.

연구 동기 및 목표

• 무조건적 및 조건부 설정 전반에 걸친 유연하고 데이터 기반 이미지 및 비디오 합성을 위한 GAN 사용의 필요성을 제시한다.
• 일반적인 GAN 실패를 해결하기 위한 안정화 기법과 학습 역학을 조사한다.
• 품질과 제어 가능성을 향상시키기 위한 생성기와 판별기 아키텍처 진화를 요약한다.
• 이미지 번역, 이미지 처리, 비디오 합성, 신경 렌더링 등 GAN 기반 응용을 검토한다.

제안 방법

• 판별기와 생성기 업데이트에 사용되는 GAN 손실 함수 및 목적식들을 기술하고 비교한다.
• 동시 학습 대 교대 학습 등 학습 스키마와 최적화 선택들(예: TTUR, ADAM, RMSProp)을 설명한다.
• 정규화 기법들(gradient penalty, spectral normalization, feature matching, perceptual loss, model averaging)을 조사한다.
• 조건부 및 프로젝션 기반의 판별기와 조건부 활성화 등을 포함한 생성기 및 판별기 아키텍처의 진화를 추적한다.
• 이미지 번역 프레임워크(감독 학습 및 비감독 학습)와 다중모드/다양한 번역 접근법들(예: CycleGAN, UNIT, MUNIT, StarGAN, SPADE)을 논의한다.

실험 결과

연구 질문

• RQ1 안정적인 이미지 및 비디오 합성을 이끄는 주요 GAN 손실 및 학습 역학은 무엇인가?
• RQ2 품질, 제어 가능성 및 효율성을 향상시키기 위해 생성기와 판별기 아키텍처가 어떻게 진화해 왔는가?
• RQ3 감독 학습 및 비감독 설정에서 다중 모드 출력까지 포함하여 이미지 대 이미지 번역의 최첨단 접근법은 무엇인가?
• RQ4 GAN은 이미지 처리 및 신경 렌더링 작업에 어떻게 적용될 수 있으며, 한계점은 무엇인가?
• RQ5 정규화 기법과 학습 스키마가 실무에서 GAN의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• GAN은 무조건적 및 조건부 설정에서 현실적인 이미지와 비디오를 생성하기 위한 유연하고 데이터 기반의 목표를 제공한다.
• 일련의 안정화 기법들(gradient penalty, spectral normalization, feature matching, perceptual loss, model averaging)이 학습 신뢰성과 출력 품질을 향상시킨다.
• 조건부 아키텍처들(conditional normalization, conditional convolutions, projection discriminators)은 라벨링된 데이터나 쌍 데이터에서 제어 가능성과 성능을 향상시킨다.
• 이미지 대 이미지 번역은 감독 학습(pix2pix)에서 비감독 학습(CycleGAN, UNIT, StarGAN)으로 진전되었으며, 다중 모드 및 예시 가이드를 갖춘 변형들(MUNIT, FUNIT, SPADE)을 포함한다.
• MLP에서 깊은 합성곱/잔차 생성기 및 판별기로의 명확한 아키텍처 진화가 있으며, 정규화 및 조건화 메커니즘의 발전에 의해 지속적인 개선이 이루어지고 있다.