[논문 리뷰] LEO: Generative Latent Image Animator for Human Video Synthesis

Yaohui Wang, Xin Ma외 5명|arXiv (Cornell University)|2023. 05. 06.

Advanced Vision and Imaging인용 수 5

한 줄 요약

LEO는 잠재 공간 내에서 유동 맵을 사용하여 외관과 운동을 분리함으로써 고해상도 인간 영상 합성의 새로운 생성 프레임워크를 제안한다. 이는 운동 코드를 생성하기 위해 잠재 운동 확산 모델(LMDM)을 사용하고, 워프-인paint 기반으로 프레임을 합성하기 위한 유동 기반 이미지 애니메이터를 활용하여 우수한 시공간 일관성과 무한 길이의 영상 생성 및 콘텐츠 보존 편집을 가능하게 한다.

ABSTRACT

Spatio-temporal coherency is a major challenge in synthesizing high quality videos, particularly in synthesizing human videos that contain rich global and local deformations. To resolve this challenge, previous approaches have resorted to different features in the generation process aimed at representing appearance and motion. However, in the absence of strict mechanisms to guarantee such disentanglement, a separation of motion from appearance has remained challenging, resulting in spatial distortions and temporal jittering that break the spatio-temporal coherency. Motivated by this, we here propose LEO, a novel framework for human video synthesis, placing emphasis on spatio-temporal coherency. Our key idea is to represent motion as a sequence of flow maps in the generation process, which inherently isolate motion from appearance. We implement this idea via a flow-based image animator and a Latent Motion Diffusion Model (LMDM). The former bridges a space of motion codes with the space of flow maps, and synthesizes video frames in a warp-and-inpaint manner. LMDM learns to capture motion prior in the training data by synthesizing sequences of motion codes. Extensive quantitative and qualitative analysis suggests that LEO significantly improves coherent synthesis of human videos over previous methods on the datasets TaichiHD, FaceForensics and CelebV-HQ. In addition, the effective disentanglement of appearance and motion in LEO allows for two additional tasks, namely infinite-length human video synthesis, as well as content-preserving video editing.

연구 동기 및 목표

• 복잡한 전역 및 국소 변형으로 인해 발생하는 인간 영상 합성에서의 시공간 일관성 문제를 해결한다.
• 이전 방법들이 외관과 운동 간의 엄격한 분리를 이루지 못해 공간 왜곡과 시간적 진동이 발생하는 한계를 극복한다.
• 강력한 운동-외관 분리로 장기 영상 생성과 콘텐츠 보존 영상 편집을 가능하게 하기 위해, 잠재 운동 공간 내 선형 운동 조건 메커니즘을 통해 확장 가능한 프레임워크를 개발한다.

제안 방법

• 운동을 잠재 공간 내에서 유동 맵의 시퀀스로 표현함으로써, 외관과의 본질적 분리를 이룬다.
• 잠재 운동 코드에서 유동 맵으로의 매핑을 가능하게 하기 위해, 워프-인파인팅 메커니즘을 통해 영상을 합성하는 유동 기반 이미지 애니메이터를 훈련시킨다.
• 이중 단계 훈련 전략을 구현한다: 첫째, 자기지도 학습을 통한 이미지 애니메이터 훈련으로 운동 코드에서 유동 맵으로의 매핑을 학습하고, 둘째, 운동 사전을 모델링하기 위해 LMDM을 운동 코드 기반으로 훈련시킨다.
• 잠재 운동 공간 내에서 시작 코드로부터의 운동 코드 잔여치를 생성하는 데 사용되는 선형 운동 조건(LMC) 메커니즘을 LMDM에 도입함으로써, 자동회귀적이고 장기적인 영상 생성을 가능하게 한다.
• 기존의 이미지 편집 모델(예: ControlNet)을 활용하여 초기 프레임만 수정하고도 전체 영상 시퀀스에 걸쳐 운동 일관성을 유지하면서 외관 변화를 전파한다.
• 운동 패턴 루프에 갇히는 문제를 해결하기 위해 장기 영상 생성에서 전이 확산 모델을 도입하며, 특히 운동 다양성이 제한된 데이터셋에서 효과적이다.

실험 결과

연구 질문

• RQ1 유동 맵을 운동 표현으로 사용할 때 인간 영상 합성에서 운동을 외관으로부터 효과적으로 분리할 수 있는가?
• RQ2 유동 기반 워핑을 통한 외관-운동 분리가 종래의 엔트리-투-엔트리 또는 두 개의 스트림 접근 방식에 비해 시공간 일관성을 향상시키는가?
• RQ3 제안된 프레임워크는 일관된 운동과 외관을 유지하면서 무한 길이의 인간 영상 생성이 가능한가?
• RQ4 외관-운동 분리 구조를 활용해 초기 프레임만 수정함으로써 콘텐츠 보존 영상 편집을 어느 정도 실현할 수 있는가?
• RQ5 선형 운동 조건(LMC) 메커니즘이 열악한 품질 저하 없이 장기 영상 생성을 어떻게 효과적으로 지원하는가?

주요 결과

• LEO는 TaichiHD 및 FaceForensics 데이터셋에서 최신 기준 성능을 달성하였으며, LMC를 사용할 경우 FVD 점수는 각각 100.4와 52.32를 기록하여 기존 기준 모델들을 크게 앞서며 성능을 뛰어넘었다.
• 사용자 연구 결과, TaichiHD에서 93.00%의 사용자가 LEO 결과가 TATS보다 더 사실적으로 평가하였고, FaceForensics에서는 91.33%의 사용자가 LEO를 StyleGAN-V보다 선호하였다.
• 자동회귀적 LMDM 추론을 통해 FaceForensics 데이터셋에서 1000 프레임 이상의 영상을 성공적으로 생성함으로써, 무한 길이 영상 합성의 가능성과 실현 가능성을 입증하였다.
• TaichiHD 데이터셋에서는 운동 패턴이 반복적이므로, 전이 확산 모델을 추가함으로써 초기 루프를 초월한 다양한 운동 패턴을 생성할 수 있었다.
• 운동과 외관의 분리는 경험적으로 검증되었다: 동일한 초기 프레임에 다른 운동 코드를 적용할 경우, 외관 드리프트 없이 서로 다른 타당한 운동이 생성되었다.
• 초기 이미지에 ControlNet을 적용한 영상 편집은 얼굴 특징, 의복 등 외관을 성공적으로 변경하면서도 전체 시퀀스에 걸쳐 운동 일관성을 유지하였다.