[논문 리뷰] LOVECon: Text-driven Training-Free Long Video Editing with ControlNet

Zhenyi Liao, Zhijie Deng|arXiv (Cornell University)|2023. 10. 15.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

LOVECon은 ControlNet을 사용하여 훈련 없이 텍스트 기반으로 장시간 영상 편집을 수행하는 프레임워크를 제안한다. 이는 영상의 윈도우로 분할하고 시간적 일관성을 확보하기 위해 크로스윈도우 어텐션 메커니즘을 도입함으로써 최대 128 프레임까지 고해상도 편집을 가능하게 한다. 내용 보존을 위해 DDIM 역전환을 활용하고, 화면 간 떨림을 줄이기 위해 프레임 보간 기법을 사용함으로써 다양한 편집 작업에서 일관성과 시각적 품질 면에서 기존 베이스라인을 능가한다.

ABSTRACT

Leveraging pre-trained conditional diffusion models for video editing without further tuning has gained increasing attention due to its promise in film production, advertising, etc. Yet, seminal works in this line fall short in generation length, temporal coherence, or fidelity to the source video. This paper aims to bridge the gap, establishing a simple and effective baseline for training-free diffusion model-based long video editing. As suggested by prior arts, we build the pipeline upon ControlNet, which excels at various image editing tasks based on text prompts. To break down the length constraints caused by limited computational memory, we split the long video into consecutive windows and develop a novel cross-window attention mechanism to ensure the consistency of global style and maximize the smoothness among windows. To achieve more accurate control, we extract the information from the source video via DDIM inversion and integrate the outcomes into the latent states of the generations. We also incorporate a video frame interpolation model to mitigate the frame-level flickering issue. Extensive empirical studies verify the superior efficacy of our method over competing baselines across scenarios, including the replacement of the attributes of foreground objects, style transfer, and background replacement. Besides, our method manages to edit videos comprising hundreds of frames according to user requirements. Our project is open-sourced and the project page is at https://github.com/zhijie-group/LOVECon.

연구 동기 및 목표

• 기존의 훈련 없이 작동하는 확산 모델이 장시간 영상 편집에서 시간적 일관성, 스타일 일관성, 원본 영상에 대한 충실도 등에서 겪는 한계를 해결하기 위함.
• 계산 메모리 제약 조건 하에서 연속적인 윈도우로 장시간 영상(최대 128 프레임)을 분할하여 효과적인 편집을 가능하게 하기 위함.
• 사전 훈련된 모델의 미세조정 없이도 윈도우 간 전역적인 스타일 일관성과 국소적 세부 사항의 충실도를 유지하기 위함.
• 영상 보간 모델을 활용한 잠재 상태 정제를 통해 화면 수준의 떨림을 줄이고 편집된 장시간 영상의 시각적 부드러움을 향상시키기 위함.
• 영화 및 광고 분야의 실용적 영상 편집 응용을 위한 간단하고 효과적이며 접근 가능한 기초 베이스라인 제공하기 위함.

제안 방법

• 장시간 영상을 계산 메모리 제약 조건을 고려해 연속적인 시간 윈도우로 분할함으로써 추론 중 메모리 사용을 관리한다.
• 윈도우 경계를 초월해 어텐션을 수행함으로써 전역적인 스타일과 콘텐츠 일관성을 강화하기 위해 새로운 크로스윈도우 어텐션 메커니즘을 도입한다.
• 원본 영상에 대해 DDIM 역전환을 적용하여 잠재 표현을 추출하고, 이를 생성된 프레임의 잠재 상태에 융합함으로써 편집되지 않은 콘텐츠의 구조적 충실도를 유지한다.
• 생성 과정의 후단에 영상 프레임 보간 모델을 통합하여 잠재 상태를 정제하고 화면 수준의 떨림과 시각적 아티팩트를 감소시킨다.
• 파이프라인은 Stable Diffusion와 ControlNet을 기반으로 하며, 미세조정 없이 텍스트 프롬프트를 조건부 편집에 활용한다.
• 이 방법은 기존의 확산 모델과의 호환성을 유지하면서도 장시간 영상 편집 기능을 확장한다.

실험 결과

연구 질문

• RQ1 훈련 없이 작동하는 확산 모델 기반 방법이 최대 128 프레임까지의 장시간 영상 편집을 수행하면서도 시간적 일관성과 시각적 품질을 유지할 수 있는가?
• RQ2 전체 영상 프레임에 대한 어텐션 없이도 크로스윈도우 어텐션은 전역적인 스타일과 콘텐츠 일관성을 얼마나 효과적으로 유도하는가?
• RQ3 DDIM 역전환 기반 잠재 융합 기법이 편집 과정에서의 구조적 충실도를 향상시키고 의도하지 않은 콘텐츠 변화를 얼마나 줄이는가?
• RQ4 프레임 보간 기법이 장시간 영상 편집에서 떨림을 현저히 감소시키고 화면 수준의 부드러움을 향상시키는가?
• RQ5 기존의 ControlNet 기반 베이스라인 대비 사용자 인식 품질과 CLIP 기반 메트릭 측면에서 제안된 방법은 얼마나 우수한가?

주요 결과

• LOVECon은 최대 128 프레임까지의 영상 편집을 성공적으로 수행하여 기존의 훈련 없이 작동하는 확산 기반 영상 편집 방법의 길이 제약을 크게 초월한다.
• 크로스윈도우 어텐션 메커니즘은 전체 프레임 어텐션과 유사한 성능을 달성하지만 상당히 낮은 계산 비용을 기록한다.
• 절단 실험 결과, 프레임 보간 기법이 실제로 떨림을 효과적으로 줄이며 최종 출력에서 눈에 띄는 색상 및 세부 사항의 일관성 없는 현상이 제거됨을 확인하였다.
• CLIP 기반 메트릭과 사용자 연구 양면에서 경쟁 베이스라인보다 뛰어난 성능을 보이며, 더 뛰어난 화면 일관성과 원본 영상에 대한 구조적 유사도를 입증하였다.
• DDIM 역전환 기반 잠재 융합 기법은 편집되지 않은 콘텐츠가 구조적으로 충실하게 유지되며, 의도하지 않은 수정을 최소화한다.
• 정성적 결과는 속성 교체, 스타일 전이, 배경 편집 등 다양한 시나리오에서 일관되고 고해상도의 편집 결과를 보여준다.