[논문 리뷰] Diverse Video Generation from a Single Video

Niv Haim, Ben Feinstein외 5명|arXiv (Cornell University)|2022. 05. 11.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 단일 입력 영상에서 다양하고 고해상도 영상 생성을 위한 비모수적, 최근접 이웃 기반 방법인 VGPNN을 제안한다. 이는 PatchMatch를 통한 공간-시간 패치 매칭을 활용하여 빠른 고해상도 합성을 가능하게 한다. 시각적 품질과 속도 면에서 단일 영상 GAN을 능가하며, 학습 시간을 수일에서 수초로 단축시킨다. 또한 영상 유사성, 공간-시간 리타겟팅 등의 새로운 응용 분야를 가능하게 한다.

ABSTRACT

GANs are able to perform generation and manipulation tasks, trained on a single video. However, these single video GANs require unreasonable amount of time to train on a single video, rendering them almost impractical. In this paper we question the necessity of a GAN for generation from a single video, and introduce a non-parametric baseline for a variety of generation and manipulation tasks. We revive classical space-time patches-nearest-neighbors approaches and adapt them to a scalable unconditional generative model, without any learning. This simple baseline surprisingly outperforms single-video GANs in visual quality and realism (confirmed by quantitative and qualitative evaluations), and is disproportionately faster (runtime reduced from several days to seconds). Our approach is easily scaled to Full-HD videos. We also use the same framework to demonstrate video analogies and spatio-temporal retargeting. These observations show that classical approaches significantly outperform heavy deep learning machinery for these tasks. This sets a new baseline for single-video generation and manipulation tasks, and no less important -- makes diverse generation from a single video practically possible for the first time.

연구 동기 및 목표

• 기존 단일 영상 GAN의 비현실적인 학습 시간과 열악한 시각적 품질 문제를 해결한다.
• 고전적인 패치 기반 영상 생성 방법을 복원하고 확장하여 단일 입력 영상에서 고해상도, 다각도의 영상 합성을 가능하게 한다.
• 딥 러닝 기반 대안보다 뛰어난 실용적인 비학습 기반 기준선을 영상 생성 및 편집 작업에 설정한다.
• 영상 유사성, 스케치-영상 변환, 공간-시간 리타겟팅과 같은 새로운 응용 분야로 프레임워크를 확장한다.
• 간단한 고전적 방법이 특정 영상 생성 작업에서 복잡한 딥 러닝 모델을 능가할 수 있음을 보여준다.

제안 방법

• 다중 해상도에서 입력 영상의 공간-시간 피라미드를 구축하여 굵기에서 세밀한 처리를 수행한다.
• 각 피라미드 수준에서 영상-패치-최근접이웃(VPNN) 모듈을 적용하여 입력 영상의 공간적 및 시간적 특징을 출력으로 이전한다.
• 3차원 공간-시간 패치에서의 빠른 근사 최근접 이웃 검색을 위해 PatchMatch 알고리즘을 사용하여 확장성을 확보한다.
• 다양성을 유도하기 위해 가장 굵은 피라미드 수준에서 난수를 주입한다.
• 영상 유사성 및 레이아웃 기반 생성을 위해 광학 흐름 기반 기술자(예: RAFT)를 사용하여 동적 구조를 추출한다.
• 피라미드 계층에서 특징 연결을 통해 콘텐츠 영상의 동적 특징과 스타일 영상의 외관 및 운동을 통합한다.

실험 결과

연구 질문

• RQ1 비모수적이고 학습이 없는 접근 방식이 딥 러닝 기반 단일 영상 GAN보다 영상 생성 품질과 속도 면에서 뛰어날 수 있는가?
• RQ2 고전적인 패치 기반 방법을 사용하여 단일 입력 영상에서 다양하고 고해상도 영상(예: 풀 HD)을 생성하는 것이 가능한가?
• RQ3 동일한 프레임워크를 조건부 생성을 넘어서 영상 유사성 및 공간-시간 리타겟팅과 같은 작업으로 확장할 수 있는가?
• RQ4 근사 최근접 이웃 검색에 PatchMatch를 사용할 경우 영상 생성의 런타임 및 메모리 효율성에 어떤 영향을 미치는가?
• RQ5 고전적인 공간-시간 패치 매칭이 현대적인 딥 러닝 생성 모델과 비교해 시각적 현실감과 일관성을 얼마나 잘 달성할 수 있는가?

주요 결과

• VGPNN는 단일 영상 생성에 있어 추론 시간을 HP-VAE-GAN의 8일에서 단 18초로 단축시켜 약 30,000배의 속도 향상을 달성했다.
• 메트릭 평가에서 VGPNN는 HP-VAE-GAN 대비 SVFID 점수 0.0072를 기록하여 패치 분포 유사도 면에서 더 뛰어난 품질을 확보했다.
• 사용자 연구 결과, 67.84%의 참가자가 선명도, 자연스러움, 일관성 면에서 VGPNN 생성 영상이 HP-VAE-GAN을 우월하게 평가했다.
• VGPNN는 풀 HD(1280×1920) 영상을 생성할 수 있으며, HP-VAE-GAN과 SinGAN-GIF는 저해상도 출력(예: 144×256)에 국한된다.
• 이 프레임워크는 다양하고 조건부가 아닌 영상 생성, 영상 유사성, 스케치-영상 변환, 조건부 영상 복구 등 다양한 기능을 지원한다.
• 정량적 지표와 정성적 평가 모두에서 VGPNN는 단일 영상 GAN을 능가하며, 단일 영상 영상 생성 분야의 새로운 실용적 기준선을 수립했다.