[논문 리뷰] Video Probabilistic Diffusion Models in Projected Latent Space

Sihyun Yu, Kihyuk Sohn외 2명|arXiv (Cornell University)|2023. 02. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 3D 비디오 데이터를 3D→2D 투영을 통해 2D 이미지 유사 잠재 벡터로 인과적으로 분해하는 잠재 확산 프레임워크인 투영된 잠재 비디오 확산 모델(PVDM)을 제안한다. 이는 고해상도, 장시간 비디오의 효율적인 훈련 및 추론을 가능하게 하며, UCF-101 128프레임 비디오 생성에서 기존 방법에 비해 크게 향상된 최신 기술 수준의 FVD(639.7)를 달성한다. 이와 동시에 메모리 및 계산 비용을 최대 17.6배까지 감소시킨다.

ABSTRACT

Despite the remarkable progress in deep generative models, synthesizing high-resolution and temporally coherent videos still remains a challenge due to their high-dimensionality and complex temporal dynamics along with large spatial variations. Recent works on diffusion models have shown their potential to solve this challenge, yet they suffer from severe computation- and memory-inefficiency that limit the scalability. To handle this issue, we propose a novel generative model for videos, coined projected latent video diffusion models (PVDM), a probabilistic diffusion model which learns a video distribution in a low-dimensional latent space and thus can be efficiently trained with high-resolution videos under limited resources. Specifically, PVDM is composed of two components: (a) an autoencoder that projects a given video as 2D-shaped latent vectors that factorize the complex cubic structure of video pixels and (b) a diffusion model architecture specialized for our new factorized latent space and the training/sampling procedure to synthesize videos of arbitrary length with a single model. Experiments on popular video generation datasets demonstrate the superiority of PVDM compared with previous video synthesis methods; e.g., PVDM obtains the FVD score of 639.7 on the UCF-101 long video (128 frames) generation benchmark, which improves 1773.4 of the prior state-of-the-art.

연구 동기 및 목표

• 픽셀 공간에서 비디오 확산 모델의 훈련 및 추론에 소요되는 높은 계산 및 메모리 비용을 해결하기 위해.
• 제한된 계산 자원 조건에서도 고해상도, 장시간 비디오의 효율적이고 확장 가능한 생성을 가능하게 하기 위해.
• 스пат리오크로널 비디오 구조를 효과적으로 인과적으로 분해할 수 있는 잠재 공간을 설계하기 위해.
• 3D 컨볼루션을 피하는 2D 이미지 유사 잠재 표현을 위한 특화된 확산 모델 아키텍처를 개발하기 위해.
• 낮은 메모리 및 추론 비용을 유지하면서도 장시간 비디오 생성 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 이 방법은 3D 비디오 텐서를 공간, 시간, 스파ati오크로널 방향으로 3D→2D 투영을 수행함으로써 세 개의 2D 잠재 벡터로 변환하는 비디오 오토인코더를 사용한다.
• 한 개의 잠재 벡터는 공통된 콘텐츠(예: 배경)를 인코딩하고, 나머지 두 개는 운동 역학을 인코딩함으로써 인과적이고 이미지 유사한 잠재 표현을 구현한다.
• 이 2D 잠재 공간에서 2D 컨volutional 확산 모델을 훈련시켜 3D 컨볼루션 대신 효율적인 2D 아키텍처를 활용한다.
• 무조건적 및 프레임 조건부 모델링의 공동 훈련을 통해 하나의 모델로 임의의 길이의 비디오 생성을 가능하게 한다.
• 저메모리 사용을 최적화한 훈련 및 추론 파이프라인을 통해 제한된 하드웨어에서도 더 큰 배치 크기와 더 긴 비디오 생성이 가능하도록 한다.
• UCF-101 및 SkyTimelapse 데이터셋에서 표준 지표인 FVD, IS, PSNR, R-FVD를 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 2D 이미지 유사 잠재 공간이 고차원 비디오 데이터를 효과적으로 매개변수화하면서도 스파티오크로널 구조를 유지할 수 있는가?
• RQ2 이 잠재 공간에서 훈련된 2D 컨볼루션 기반 확산 모델이 3D 컨볼루션 기반 모델보다 비디오 생성 품질과 효율성 면에서 뛰어나게 되는가?
• RQ3 제안된 3D→2D 투영 전략이 장시간 비디오 생성에 있어 더 효율적인 훈련 및 추론을 가능하게 하는가?
• RQ4 모델은 고해상도(256×256) 비디오를 임의의 길이로 생성하면서도 강한 시간적 일관성과 인지적 품질을 유지할 수 있는가?
• RQ5 기존 비디오 확산 모델에 비해 이 방법이 메모리 및 계산 비용을 얼마나 줄이는가?

주요 결과

• PVDM는 128프레임 UCF-101 벤치마크에서 기존 최신 기술 수준의 1773.4에 비해 뛰어난 최신 기술 수준의 프레셰 비디오 거리(FVD) 점수 639.7을 달성한다.
• 16프레임, 256×256 UCF-101 비디오 생성에서 PVDM는 인ception 점수(IS) 74.40을 기록하여 새로운 최신 기술 수준을 수립한다.
• PVDM는 기존 비디오 확산 모델(VDM) 대비 추론 시간을 17.6배 단축시켰으며, 16프레임 256×256 비디오 생성에 7.88초가 소요되었고, VDM은 2분이 넘게 소요되었다.
• PVDM는 3.5배 더 높은 메모리 효율성을 달성하여, 단일 24GB NVIDIA 3090Ti GPU에서 배치 크기 7로 훈련이 가능했고, VDM은 배치 크기 1에서 OOM로 실패했다.
• 오토인코더는 높은 재구성 품질을 달성했으며, UCF-101 테스트 세트에서 R-FVD는 32.26, PSNR는 26.99로 강력한 인지적 정밀도를 보였다.
• PVDM는 TATS 및 VideoGPT와 같은 순차적 모델보다 추론 속도와 메모리 효율성 면에서 뛰어나며, 16프레임 생성에 4.33GB의 메모리 사용량을 기록했다.