[논문 리뷰] Diffusion Models for Video Prediction and Infilling

Tobias Höppe, Arash Mehrjou외 3명|arXiv (Cornell University)|2022. 06. 15.

Generative Adversarial Networks and Image Synthesis인용 수 50

한 줄 요약

RaMViD는 diffusion 모델을 3D 컨볼루션과 랜덤 마스킹을 통해 비디오로 확장하여, 단일 아키텍처로 비디오 예측, 인필링, 업샘플링을 동시에 가능하게 하고 여러 벤치마크에서 경쟁력 있는 결과를 제공합니다.

ABSTRACT

Predicting and anticipating future outcomes or reasoning about missing information in a sequence are critical skills for agents to be able to make intelligent decisions. This requires strong, temporally coherent generative capabilities. Diffusion models have shown remarkable success in several generative tasks, but have not been extensively explored in the video domain. We present Random-Mask Video Diffusion (RaMViD), which extends image diffusion models to videos using 3D convolutions, and introduces a new conditioning technique during training. By varying the mask we condition on, the model is able to perform video prediction, infilling, and upsampling. Due to our simple conditioning scheme, we can utilize the same architecture as used for unconditional training, which allows us to train the model in a conditional and unconditional fashion at the same time. We evaluate RaMViD on two benchmark datasets for video prediction, on which we achieve state-of-the-art results, and one for video generation. High-resolution videos are provided at https://sites.google.com/view/video-diffusion-prediction.

연구 동기 및 목표

• 예측 및 인필링을 위한 확산 모델을 통해 시간적으로 일관된 비디오 생성을 촉진하고 가능하게 한다.
• 무작위 마스킹에 기반한 조건화 메커니즘을 도입하여 무조건, 조건부, 혼합 학습을 하나로 통합한다.
• BAIR에서 최첨단 성능을 입증하고, Kinetics-600 및 UCF-101에서 예측 및 인필링 작업 전반에 걸쳐 강력한 결과를 보인다.

제안 방법

• 확산 모델 아키텍처에서 3D 컨볼루션을 사용하여 Random-Mask Video Diffusion (RaMViD)을 도입한다.
• 조건화되지 않은 프레임을 마스킹하고 조건 프레임을 네트워크 입력에 주입하여 임의의 프레임 부분집합에 대해 조건을 건다.
• 동일한 아키텍처 내에서 조건부 및 무조건 학습을 가능하게 하도록 무작위 마스킹으로 학습한다.
• 영상 모델링을 위해 해상도 16 및 8에서 자기-주목(self-attention)을 갖춘 U-Net과 선형 확산 스케줄을 채택한다.
• 조건부 확산 목표를 구성하여 알려지지 않은(마스킹된) 프레임만 재구성하고 conditioning 프레임은 고정된 상태로 유지한다.
• conditioning 집합 C를 선택하고 미지의 프레임 U를 샘플링하여 예측, 인필링 및 업샘플링에 대한 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확산 모델을 비디오 도메인으로 효과적으로 확장하여 예측과 인필링 모두를 달성할 수 있는가?
• RQ2 무작위 마스킹이 확산 샘플링 동안 조건부 및 무조건 비디오 프레임을 조화롭게 하는 단순하고 효과적인 조건화 메커니즘을 제공하는가?
• RQ3 다양한 조건 마스킹 설정(예: 조건 프레임의 수와 위치)이 예측 및 인필링 성능에 어떤 영향을 미치는가?
• RQ4 RaMViD는 표준 비디오 예측 및 완성 벤치마크에서 이전 방법들과 비교하여 어떤 성능을 보이나?
• RQ5 모델이 무조건적 비디오 생성 및 자기회귀적 긴 시퀀스 샘플링이 가능한가?

주요 결과

• RaMViD는 BAIR에서 11–15 프레임을 조건 프레임으로 예측할 때 Fréchet Video Distance(FVD) 기준으로 최첨단을 달성한다.
• RaMViD는 예측 작업에서 Kinetics-600에서 경쟁 메서드와 일치하거나 이를 능가하며 파라미터 수가 약 308M으로 경쟁적이다.
• 무조건 학습은 RaMViD를 통해 데이터셋 전반에서 가능하며, 무조건 비율 pU를 높이면 데이터셋의 복잡도에 따라 성능이 개선되거나 저하될 수 있다.
• RaMViD는 시작 프레임과 끝 프레임에 조건을 두고 비디오 인필링을 효과적으로 시연하며 다양한 조건 설정에서 경쟁력 있는 FVD를 달성한다.
• 자기회귀 샘플링은 학습 구간을 넘는 시퀀스 길이를 확장할 수 있지만, 긴 시퀀스에서 품질이 느리게 저하될 수 있다.