[논문 리뷰] CustomVideo: Customizing Text-to-Video Generation with Multiple Subjects

Zhao Wang, Aoxue Li외 4명|arXiv (Cornell University)|2024. 01. 18.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

CustomVideo는 다중 주제를 고려한 텍스트-비디오 생성을 위한 혁신적인 프레임워크를 제안하며, 높은 정밀도와 정체성 유지가 가능한 비디오 합성을 가능하게 한다. 공시 발생 훈련과 마스크 유도 주의 제어를 통해 잠재 공간 내 주제를 분리하여, 이전 방법들에 비해 다중 주제 생성에서 뛰어난 성능을 발휘한다. 특히 외관이 유사한 물체나 복잡한 장면에서도 뛰어난 성능을 보인다.

ABSTRACT

Customized text-to-video generation aims to generate high-quality videos guided by text prompts and subject references. Current approaches for personalizing text-to-video generation suffer from tackling multiple subjects, which is a more challenging and practical scenario. In this work, our aim is to promote multi-subject guided text-to-video customization. We propose CustomVideo, a novel framework that can generate identity-preserving videos with the guidance of multiple subjects. To be specific, firstly, we encourage the co-occurrence of multiple subjects via composing them in a single image. Further, upon a basic text-to-video diffusion model, we design a simple yet effective attention control strategy to disentangle different subjects in the latent space of diffusion model. Moreover, to help the model focus on the specific area of the object, we segment the object from given reference images and provide a corresponding object mask for attention learning. Also, we collect a multi-subject text-to-video generation dataset as a comprehensive benchmark. Extensive qualitative, quantitative, and user study results demonstrate the superiority of our method compared to previous state-of-the-art approaches. The project page is https://kyfafyd.wang/projects/customvideo.

연구 동기 및 목표

• 기존 텍스트-비디오 모델에서 다루지 않은 바람직한 다중 주제를 포함한 고품질 비디오 생성 과제를 해결한다.
• 이전 방법들이 다중 주제의 일관된 공시 발생을 보장하지 못하고, 외관이 유사한 물체에서 어려움을 겪는 점을 극복한다.
• 비디오 생성 과정에서 정체성과 운동 정밀도를 유지하기 위해 잠재 공간 내 주제의 분리도 향상한다.
• 다양한 주제 유형과 복잡한 조합을 포함한 다중 주제 텍스트-비디오 생성을 평가할 수 있는 종합적인 벤치마크 데이터셋을 구축한다.
• 최신 기술(SOTA) 대비 정성적, 정량적 평가 및 사용자 연구를 통해 뛰어난 성능을 입증한다.

제안 방법

• 훈련 중에 여러 주제를 하나의 이미지로 조합하여 생성된 비디오에서 주제의 공시 발생을 유도한다.
• 정답 객체 마스크를 사용해 교차 주의 맵 내 주제 영역을 강조하는 마스크 유도 주의 제어 메커니즘을 구현한다.
• 비타겟 주제 영역에 대한 주의 값이 음수 쪽으로 이동하도록 교차 주의 맵을 최적화하여 관련 없는 영역의 영향을 억제한다.
• LoRA를 활용해 UNet의 교차 주의 레이어에서 쿼리 및 값 가중치만 미세조정하여 효율적인 적응을 달성한다.
• 학습 가능한 텍스트 토큰을 주제의 클래스 이름으로 초기화하여 정체성 표현과 일치시킨다.
• 절단 분석 결과에서 세 번째 레이어의 교차 주의 맵이 최적의 성능을 보였기에, UNet의 주의 블록의 세 번째 레이어에서 교차 주의 맵을 추출한다.

실험 결과

연구 질문

• RQ1 텍스트-비디오 확산 모델을 효과적으로 미세조정하여 다중 주제의 일관된 공시 발생을 갖는 비디오를 생성할 수 있는가?
• RQ2 여러 유사하거나 복잡한 주제가 동시에 존재할 경우, 잠재 공간 내 주제 분리도를 어떻게 향상시킬 수 있는가?
• RQ3 마스크 유도 주의 제어가 정체성 유지 및 주제 간 간섭 감소에 얼마나 기여하는가?
• RQ4 텍스트 일치도, 이미지 일치도, 시간적 일관성 측면에서 최신 기술(SOTA) 대비 제안된 방법은 어떤가?
• RQ5 새로운 다양성 있는 벤치마크 데이터셋이 도전적인 주제 조합을 포함한 다중 주제 텍스트-비디오 생성을 효과적으로 평가할 수 있는가?

주요 결과

• ℓ₃ 레이어에서의 교차 주의 맵을 사용할 경우, CustomVideo는 CLIP-T 점수 0.7051과 DINO-I 점수 0.3955를 기록하며, 다른 주의 레이어 구성보다 뛰어난 성능을 보였다.
• 사용자 평가에서 이전 최신 기술(SOTA) 방법 대비 사용자 선호도 점수가 3배 높아, 강력한 시각적 품질을 입증했다.
• CustomVideo는 고도로 유사한 주제(예: 고양이 vs. 강아지)의 정체성을 모든 프레임에서 잘 유지하여, VideoDreamer에서 관찰된 불일관성을 방지했다.
• 이전 방법이 처리하지 못하는 복잡한 장면(예: 전경에 차량, 배경에 농막)에도 잘 일반화되어 성능을 발휘했다.
• 절단 분석 결과, ℓ₃ 교차 주의 맵가 해상도와 성능 사이의 최적 균형을 이끌어내었으며, ℓ₁ 및 ℓ₄ 대비 DINO-I 점수에서 12% 향상된 것으로 확인되었다.
• CLIP-T, CLIP-I, DINO-I, 시간적 일관성 모든 지표에서 VideoDreamer 및 기타 최신 기술(SOTA) 방법을 압도했으며, 사용자 연구에서도 통계적으로 유의미한 향상이 있었다.