[논문 리뷰] AnimateLCM: Computation-Efficient Personalized Style Video Generation without Personalized Video Data

Fuyun Wang, Zhaoyang Huang외 6명|arXiv (Cornell University)|2024. 02. 01.

Human Motion and Animation인용 수 4

한 줄 요약

AnimateLCM는 이미지 및 운동 사전 지식을 별도로 정제하는 분리된 일致성 학습 전략을 통해 고해상도 개인화된 비디오 생성을 가속화하며, 단 4회의 추론 단계로도 비디오 생성을 가능하게 합니다. 최소한의 단계로 최신 기술 수준의 성능을 달성하고, 속도 손실 없이 플러그 앤 플레이 어댑터를 지원하며, 다양한 스타일을 위한 개인화된 이미지 확산 가중치와도 호환됩니다.

ABSTRACT

This paper introduces an effective method for computation-efficient personalized style video generation without requiring access to any personalized video data. It reduces the necessary generation time of similarly sized video diffusion models from 25 seconds to around 1 second while maintaining the same level of performance. The method's effectiveness lies in its dual-level decoupling learning approach: 1) separating the learning of video style from video generation acceleration, which allows for personalized style video generation without any personalized style video data, and 2) separating the acceleration of image generation from the acceleration of video motion generation, enhancing training efficiency and mitigating the negative effects of low-quality video data.

연구 동기 및 목표

• 확산 모델에서 비디오 생성을 가속화하면서도 높은 시각적 품질을 유지하는 것.
• 비디오 확산에서 반복적 노이즈 제거의 높은 계산 비용을 줄여 최소한의 단계로 추론를 가능하게 하는 것.
• 개인화된 이미지 확산 모델 및 커뮤니티 어댑터와의 호환성을 유지하면서도 속도나 품질을 희생하지 않는 것.
• 이미지 및 운동 사전 지식을 별도로 정제하는 전략을 통해 효율성과 생성 품질을 향상시키는 훈련 전략 개발

제안 방법

• 고품질 이미지 데이터셋에서 먼저 이미지 생성 사전 지식을 정제한 후, 비디오 데이터에서 운동 사전 지식을 정제하는 분리된 일치 학습 전략을 제안합니다.
• 이미지 및 이미지 일치 모델에 3D 인플레이션을 적용하여 비디오 생성으로 확장하며, 특수 설계된 초기화를 통해 특징 손상 감소를 도모합니다.
• 분류자 없는 가이던스 증강 확률 흐름 ODE의 해를 예측함으로써 잠재 공간에서 비디오 일치 모델을 훈련합니다.
• 교사 모델이 필요 없는 어댑터 적응 전략을 도입하여 기존 어댑터(예: ControlNet, T2I-Adapter)를 직접 통합하거나 교사 없이 재학습할 수 있도록 합니다.
• 사전 훈련된 Stable Diffusion 가중치를 활용하며, 공간적 가중치를 개인화된 이미지 확산 모델로 간편하게 교체하여 스타일 전이를 가능하게 합니다.

실험 결과

연구 질문

• RQ1 이미지와 운동 사전 지식 간의 일치 학습을 효과적으로 분리함으로써 비디오 확산에서 훈련 효율성과 생성 품질을 향상시킬 수 있는가?
• RQ2 기존 커뮤니티 어댑터를 정제된 비디오 일치 모델에 적용할 때 추론 속도를 떨어뜨리지 않고 어떻게 적응시킬 수 있는가?
• RQ3 개인화된 이미지 확산 가중치를 직접 비디오 일치 모델에 사용하여 고해상도이자 스타일 일관성이 확보된 비디오를 생성할 수 있는가?
• RQ4 제안된 방법이 기준 확산 모델 대비 저단계 추론 환경에서 뛰어난 성능을 달성하는가?

주요 결과

• AnimateLCM는 FVD 및 CLIPSIM 지표에서 최신 기술 수준의 성능을 달성하였으며, 특히 1~4단계 추론 환경에서 기준 모델들을 능가합니다. 분류자 없는 가이던스(CFG) 없이도 성능이 뛰어납니다.
• 분리된 일치 학습 전략은 훈련 수렴 속도와 최종 생성 품질을 크게 향상시켰으며, 정량적 분석에서 'w/o decouple' 및 'w/o init' 기준 모델을 모두 능가합니다.
• 교사 없는 어댑터 적응 전략은 T2I-Adapter를 사용할 때 안정적이고 고품질의 제어 가능한 생성을 가능하게 하여 직접 어댑터 사용 대비 번짐 현상 감소와 제어 정확도 향상을 보였습니다.
• 공간적 가중치를 개인화된 현실적인 스타일 모델(Relistic Vision V5.0)로 교체함으로써 시각적 품질과 운동의 매끄러움이 모두 향상되어 개인화 모델과의 강력한 호환성을 입증했습니다.
• 7.5 CFG 강도를 사용할 경우 기준 모델 대비 추론 시간과 최대 메모리 사용량을 각각 50% 감소시켰으며, 이는 평가 시 CFG를 사용하지 않기 때문입니다.