[논문 리뷰] LaMD: Latent Motion Diffusion for Image-Conditional Video Generation

Yaosi Hu, Zhenzhong Chen외 1명|arXiv (Cornell University)|2023. 04. 23.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

LaMD는 영상 조건부 영상 생성을 위한 새로운 잠재 운동 확산 프레임워크를 제안한다. 이는 영상을 콘텐츠와 운동 성분으로 분해하고, 운동 분해 영상 오토인코더(MCD-VAE)와 확산 기반 운동 생성기(DMG)를 사용한다. BAIR, Landscape, CATER-GENs 벤치마크에서 최고 성능을 기록하며 고품질, 다양한 운동 생성과 이미지 확산 모델과 유사한 빠른 추론 속도를 구현한다.

ABSTRACT

The video generation field has witnessed rapid improvements with the introduction of recent diffusion models. While these models have successfully enhanced appearance quality, they still face challenges in generating coherent and natural movements while efficiently sampling videos. In this paper, we propose to condense video generation into a problem of motion generation, to improve the expressiveness of motion and make video generation more manageable. This can be achieved by breaking down the video generation process into latent motion generation and video reconstruction. Specifically, we present a latent motion diffusion (LaMD) framework, which consists of a motion-decomposed video autoencoder and a diffusion-based motion generator, to implement this idea. Through careful design, the motion-decomposed video autoencoder can compress patterns in movement into a concise latent motion representation. Consequently, the diffusion-based motion generator is able to efficiently generate realistic motion on a continuous latent space under multi-modal conditions, at a cost that is similar to that of image diffusion models. Results show that LaMD generates high-quality videos on various benchmark datasets, including BAIR, Landscape, NATOPS, MUG and CATER-GEN, that encompass a variety of stochastic dynamics and highly controllable movements on multiple image-conditional video generation tasks, while significantly decreases sampling time.

연구 동기 및 목표

• 이미지 생성의 발전에도 불구하고, 자연스럽고 일관된 운동을 생성하는 데 있어 여전히 핵심적인 장벽으로 남아 있는 일관성 있는 자연 운동 생성 문제를 해결하기 위해.
• 운동을 시각적 콘텐츠에서 분리하고 압축된 잠재 운동 공간에서 작동시켜 계산 복잡도를 줄이고 모델링 효율성을 향상시키기 위해.
• 확산 기반 접근을 사용하여 이미지 조건부 및 텍스트-이미지 조건부 조건 하에서 고해상도, 제어 가능한 영상 생성을 가능하게 하기 위해.
• 이미지 확산 모델과 유사한 추론 속도를 확보하면서도 높은 정성과 운동의 일관성을 유지하기 위해.

제안 방법

• 다중 척도 이미지 인코더, 정보 차단을 가진 경량 운동 인코더, 영상 복원 디코더를 포함한 운동-콘텐츠 분리 영상 오토인코더(MCD-VAE)를 사용하여 시각적 외형과 운동을 분리한다.
• 정보 차단을 가진 운동 인코더를 통해 운동이 압축되어 압축된 잠재 표현으로 변환되며, 이는 시간적 동역학의 효율적 모델링을 가능하게 한다.
• 확산 기반 운동 생성기(DMG)는 콘텐츠 특징과 선택적 텍스트를 조건으로 하여 연속된 공간에서 잠재 운동 표현을 점진적으로 노이즈 제거한다.
• DMG는 이미지 확산 모델과 유사한 계산 비용을 가지는 잠재 공간에서 작동하므로 빠른 추론이 가능하다.
• 이 시스템은 이미지에서 영상(I2V) 및 텍스트-이미지에서 영상(TI2V) 생성을 지원하며, 사전 학습된 텍스트-이미지 모델을 활용해 텍스트에서 영상(T2V) 생성으로도 확장할 수 있다.
• 프레임워크는 복원 및 노이즈 제거 목표를 기반으로 엔드 투 엔드로 훈련되며, 운동의 현실성과 시간적 일관성 향상을 최적화한다.

Figure 1 : The comparison of video generation in different latent space. The dashed line stands for operations only involved in training process, while the solid line represents operations both involved in training and sampling process.

실험 결과

연구 질문

• RQ1 압축된 잠재 운동 공간에서의 운동 생성으로 재정의된 영상 생성은 일관성 향상과 복잡도 감소에 효과적인가?
• RQ2 확산 기반 운동 생성기는 이미지 확산 모델과 유사한 계산 효율성으로 현실적이고 다양한, 제어 가능한 운동을 생성할 수 있는가?
• RQ3 운동 분해 오토인코더를 통한 운동과 콘텐츠 분리가 더 높은 복원 품질과 운동 표현력 향상에 기여하는가?
• RQ4 제안된 프레임워크는 확률적 동역학과 제어 가능한 운동을 포함한 다양한 벤치마크에서 최고 성능을 달성할 수 있는가?

주요 결과

• LaMD는 이미지에서 영상 및 텍스트-이미지에서 영상 생성 작업에 대해 BAIR, Landscape, CATER-GENs 벤치마크에서 새로운 최고 성능(FVD 점수)을 기록했다.
• 확산 기반 운동 생성기(DMG)는 단일 RTX 3090 GPU에서 약 9~11초 내로 영상을 추론하며, 이미지 확산 모델과 유사한 추론 속도를 확보했다.
• MCD-VAE는 압축된 잠재 표현에 효과적으로 운동 패턴을 압축하면서도 높은 복원 품질을 달성했다.
• 제거 분석 결과, 운동 분해 설계는 엔드 투 엔드 영상 확산 모델 대비 더 뛰어난 운동 표현력과 시간적 일관성을 제공함을 입증했다.
• 이 프레임워크는 이미지 조건 및 텍스트 조건 하에서 다양성 있는 운동 생성—스토캐스틱 다이내믹스에서부터 고도로 제어 가능한 운동까지—을 성공적으로 수행했다.
• 잠재 운동 공간은 확산 추론 과정에서 운동의 점진적 정교화를 가능하게 하며, 초기 노이즈 제거 단계에서는 혼란스러운 운동이 추론의 마지막 단계에서 자연스럽고 일관된 운동으로 진화함을 보였다.

Figure 2 : The framework of our proposed LMD. During training process, the stage-I MCD-VAE is first trained to decompose latent motion with video reconstruction task, while DMG is trained to generate natural motion conditioned by $\left\{f_{x_{0}},c\right\}$ in the second stage. During sampling proc