[논문 리뷰] Dual-Stream Diffusion Net for Text-to-Video Generation

Binhui Liu, Xin Liu외 5명|arXiv (Cornell University)|2023. 08. 16.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 비디오 콘텐츠와 동작을 별도의 확산 스트림으로 분리하는 새로운 텍스트-비디오 생성 프레임워크인 듀얼스트림 확산 네트워크(DSDN)를 제안한다. 이는 교차 어텐션 기반의 교차 스트림 상호작용을 통해 시간적 일관성을 향상시킨다. 동작을 전용 브랜치로 모델링하고 동작 분해기/조합기 모듈을 통합함으로써, 화면 깜빡임을 줄이고 생성된 비디오의 시각적 연속성과 다양성을 향상시킨다. 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

With the emerging diffusion models, recently, text-to-video generation has aroused increasing attention. But an important bottleneck therein is that generative videos often tend to carry some flickers and artifacts. In this work, we propose a dual-stream diffusion net (DSDN) to improve the consistency of content variations in generating videos. In particular, the designed two diffusion streams, video content and motion branches, could not only run separately in their private spaces for producing personalized video variations as well as content, but also be well-aligned between the content and motion domains through leveraging our designed cross-transformer interaction module, which would benefit the smoothness of generated videos. Besides, we also introduce motion decomposer and combiner to faciliate the operation on video motion. Qualitative and quantitative experiments demonstrate that our method could produce amazing continuous videos with fewer flickers.

연구 동기 및 목표

• 텍스트-비디오 생성에서 특히 시간적 프레임 전환 시 깜빡임과 일관성 부족 문제를 해결하기 위해.
• 비디오 프레임 간의 운동 일관성과 시각적 연속성을 향상시키면서도 콘텐츠 다양성을 유지하기 위해.
• 콘텐츠 생성과 별도로 전용으로 설계된 확산 스트림을 통해 동작을 모델링하여 더 나은 제어력과 품질을 확보하기 위해.
• 노이즈 제거 과정 중 콘텐츠와 동작 표현 간의 정렬을 위해 교차 어텐션 상호작용 메커니즘을 설계하기 위해.
• 더 효과적인 동작 표현 조작을 위해 동작 분해기 및 조합기 모듈을 도입하기 위해.

제안 방법

• 모델은 듀얼스트림 아키텍처를 사용한다: 사전 훈련된 텍스트-이미지 확산 모델 기반의 콘텐츠 스트림과 3D U-Net을 활용해 시간 동적 특성을 모델링하는 동작 스트림.
• 콘텐츠 스트림과 동작 스트림은 독립적으로 훈련되지만, 노이즈 제거 과정 중 교차 어텐션을 가능하게 하는 교차 트랜스포머 상호작용 모듈을 통해 정렬된다.
• 콘텐츠 스트림은 기본 모델을 초월해 개인화된 콘텐츠 변형을 학습하는 인크리멘탈 유닛으로 강화된다.
• 동작 스트림은 분리된 구성요소로 동작을 분리하는 동작 분해기와 일관된 동작 시퀀스를 재구성하는 동작 조합기를 갖춘다.
• 두 스트림 간의 교차 어텐션은 각각이 상대방의 특징을 참조할 수 있도록 해주며, 시간적 일관성 향상과 깜빡임 감소에 기여한다.
• 기본 모델의 일반화 능력을 유지하면서도 인크리멘탈 콘텐츠 유닛의 파인튜닝을 통해 개인화된 비디오 생성을 지원한다.

실험 결과

연구 질문

• RQ1 콘텐츠와 동작을 별도의 확산 스트림으로 분리함으로써 텍스트-비디오 생성에서 시간적 일관성이 향상될 수 있는가?
• RQ2 콘텐츠 스트림과 동작 스트림 간의 교차 어텐션은 깜빡임 감소와 시각적 연속성 향상에 얼마나 효과적인가?
• RQ3 통합 모델링과 비교해 전용 동작 브랜치가 동작의 다양성과 현실감을 얼마나 향상시킬 수 있는가?
• RQ4 동작 분해기 및 조합기 모듈은 더 나은 동작 표현과 제어에 어떤 기여를 하는가?
• RQ5 인크리멘탈 콘텐츠 유닛은 기본 모델을 초월해 시각적 품질과 다양성에 어떤 영향을 미치는가?

주요 결과

• 제안된 DSDN 방법은 정성적 결과를 통해 프레임 간 매끄러운 전환을 보이며 깜빡임을 크게 줄이고 시간적 일관성을 향상시켰다.
• 모델은 다양한 동작(예: 고양이가 다른 방향으로 걷는 것)과 시각적 특성(예: 털 색상, 자세)을 포함해 높은 콘텐츠 다양성을 갖는 비디오를 생성한다.
• 절단 실험 결과, 동작 유닛을 제거할 경우 홀로 프레임 간 일관성이 떨어지고 시간적 연속성이 떨어지는 것으로 확인되어 그 핵심적 역할을 입증했다.
• 인크리멘탈 콘텐츠 유닛은 시각적 품질과 안정성을 향상시켜 시각적 시점 이동을 방지하고 텍스트 프롬프트와의 일치도 향상시켰다.
• 동작 유닛 시각화 결과, 팔 흔들림, 머리카락 휘날림, 신체 이동 등의 동적 신호가 정확하게 모델링되었음을 확인했다.
• 다양한 프롬프트에 대해 우수한 성능을 보였으며, 배경 간섭으로 인한 소수의 실패 사례(예: 미세한 색상 불일치) 외에는 거의 문제가 없었다.