[논문 리뷰] Imagen Video: High Definition Video Generation with Diffusion Models

Jonathan Ho, William Chan외 9명|arXiv (Cornell University)|2022. 10. 05.

Generative Adversarial Networks and Image Synthesis인용 수 346

한 줄 요약

Imagen Video는 공간적 및 시간적 초해상도를 갖춘 고해상도 텍스트 조건 비디오를 생성하기 위해 diffusion 모델의 cascade를 사용하며, 점진적 증류와 classifier-free guidance를 통해 빠르고 고품질 샘플링을 달성합니다.

ABSTRACT

We present Imagen Video, a text-conditional video generation system based on a cascade of video diffusion models. Given a text prompt, Imagen Video generates high definition videos using a base video generation model and a sequence of interleaved spatial and temporal video super-resolution models. We describe how we scale up the system as a high definition text-to-video model including design decisions such as the choice of fully-convolutional temporal and spatial super-resolution models at certain resolutions, and the choice of the v-parameterization of diffusion models. In addition, we confirm and transfer findings from previous work on diffusion-based image generation to the video generation setting. Finally, we apply progressive distillation to our video models with classifier-free guidance for fast, high quality sampling. We find Imagen Video not only capable of generating videos of high fidelity, but also having a high degree of controllability and world knowledge, including the ability to generate diverse videos and text animations in various artistic styles and with 3D object understanding. See https://imagen.research.google/video/ for samples.

연구 동기 및 목표

• 고해상도 텍스트-투-비디오 생성을 위한 cascade diffusion 접근 방식 시연.
• 이미지에서 비디오 생성으로의 텍스트 조건 설정 및 고정된 텍스트 인코더의 이전 전이 시연.
• 비디오 샘플링 효율성을 위한 확산 매개변수화, 조건화 보강, 및 점진적 증류 탐구.
• 모델의 제어 가능성, 3D 이해도, 다양한 예술 스타일의 비디오 생성에서의 평가.

제안 방법

• 7개의 diffusion 서브모델의 cascade를 채택(기본 비디오 모델 plus 3개의 공간 SR 모델 및 3개의 시간 SR 모델)하여 1280x768 비디오를 24 fps로 생성.
• 입력 텍스트에 모든 diffusion 모델을 조건짓기 위해 고정된 T5-XXL 텍스트 인코더를 사용.
• 안정성 향상 및 색상 아티팩트 감소를 위해 모든 모델에 대해 v-prediction 매개변수화를 적용.
• 더 큰 데이터셋을 가능하게 하기 위해 이미지-텍스트 및 비디오-텍스트 데이터에서 모든 모델을 공동으로 학습하되 이미지를 단일 프레임 비디오로 간주.
• 텍스트 프롬프트와의 정렬을 개선하기 위해 classifier-free guidance를 적용하고, 다이나믹 클리핑 및 진동 가이던스와 같은 기법을 사용해 아티팩트를 관리.
• 샘플링 단계를 줄이고 생성 속도를 높이기 위해 progressive distillation을 활용하여 더 빠른 샘플링이 가능한 증류 파이프라인을 구축.

실험 결과

연구 질문

• RQ1 cascade diffusion 모델이 텍스트 프롬프트에서 고해상도이며 시간적으로 일관된 비디오를 얼마나 잘 생성하는가?
• RQ2 고해상도에서의 비디오 샘플 품질과 안정성에 대한 매개변수화(v-prediction vs epsilon-prediction)의 영향은 무엇인가?
• RQ3 이미지와 비디오의 공동 학습이 비디오 품질을 개선하고 스타일 및 3D 이해 전이를 가능하게 하는가?
• RQ4 진행형 증류가 가이드와 함께 빠르고 고품질의 비디오 샘플링을 제공하는 데 얼마나 효과적인가?

주요 결과

• 모델은 프롬프트에 강하게 정렬된 24 fps의 1280x768 비디오를 생성하며, 시간적 일관성도 우수하다(5.3초, 128 프레임).
• 기본 비디오 모델의 규모를 확장하면 FVD 및 CLIP 점수가 일관되게 향상되어 더 큰 매개변수 수의 이점을 시사한다.
• 고해상도에서 v-prediction이 epsilon-prediction보다 성능이 우수하며 색상 이동을 줄이고 수렴을 가속한다.
• 증류된 cascade는 원래 cascade에 비해 약 18x 더 빠른 샘플링 속도와 유사한 지각적 품질, 약 36x의 FLOPs 감소를 달성한다.
• 이미지-비디오 공동 학습은 비디오 품질을 향상시키고 스타일 및 3D와 같은 이해를 전이 가능하게 한다.
• classifier-free guidance는 프롬프트 정렬 및 샘플링 품질을 상당히 향상시키며, oscillating guidance는 샘플링 중 포화 아티팩트를 완화한다.