[논문 리뷰] Ctrl-Adapter: An Efficient and Versatile Framework for Adapting Diverse Controls to Any Diffusion Model

Han Lin, Jaemin Cho외 2명|arXiv (Cornell University)|2024. 04. 15.

Advanced Neuroimaging Techniques and ApplicationsMedicine인용 수 3

한 줄 요약

Ctrl-Adapter는 백본 또는 ControlNet의 미세조정 없이 사전학습된 ControlNets을 어떤 이미지 또는 영상 생성 확산 모델에 적응시키는 경량이며 파rameter 효율적인 프레임워크입니다. 공간 및 시간 모듈을 갖춘 학습 가능한 어댑터 레이어—특히 잠재적 스키팅과 역순 시간스텝 샘플링을 포함—를 도입함으로써 고품질의 이미지 및 영상 생성을 가능하게 하며, 10 GPU 시간 미만의 훈련으로 영상 벤치마크(예: DAVIS 2017)에서 최신 기술 수준의 성능을 달성합니다.

ABSTRACT

ControlNets are widely used for adding spatial control to text-to-image diffusion models with different conditions, such as depth maps, scribbles/sketches, and human poses. However, when it comes to controllable video generation, ControlNets cannot be directly integrated into new backbones due to feature space mismatches, and training ControlNets for new backbones can be a significant burden for many users. Furthermore, applying ControlNets independently to different frames cannot effectively maintain object temporal consistency. To address these challenges, we introduce Ctrl-Adapter, an efficient and versatile framework that adds diverse controls to any image/video diffusion model through the adaptation of pretrained ControlNets. Ctrl-Adapter offers strong and diverse capabilities, including image and video control, sparse-frame video control, fine-grained patch-level multi-condition control (via an MoE router), zero-shot adaptation to unseen conditions, and supports a variety of downstream tasks beyond spatial control, including video editing, video style transfer, and text-guided motion control. With six diverse U-Net/DiT-based image/video diffusion models (SDXL, PixArt-$α$, I2VGen-XL, SVD, Latte, Hotshot-XL), Ctrl-Adapter matches the performance of pretrained ControlNets on COCO and achieves the state-of-the-art on DAVIS 2017 with significantly lower computation (< 10 GPU hours).

연구 동기 및 목표

• 사전학습된 ControlNets를 새로운 확산 모델 백본에 직접 적용할 때 발생하는 비효율성과 호환성 문제를 해결한다.
• 프레임 단위로 ControlNet 추론를 사용할 경우 영상 생성에서 시간적 일관성을 확보하는 데 어려움을 해결한다.
• 사전학습된 ControlNets를 새로운 제어 조건과 다양한 백본 모델에 대해 제로샷 적응화할 수 있도록 한다.
• 다중 조건 제어, 희소 프레임 제어, 영상 편집과 같은 다양한 제어 시나리오를 지원한다.
• 새로운 백본에 대해 ControlNet을 처음부터 훈련하는 것보다 훈련 비용을 줄인다.

제안 방법

• 백본 및 ControlNet 파라미터를 동결한 채로, 사전학습된 ControlNet의 특징을 대상 확산 모델에 융합하는 어댑터 레이어를 훈련한다.
• 공간 및 시간 모듈을 갖춘 이중 브랜치 아키텍처를 도입: 공간 세부 정보는 공간 컨벌루션과 어텐션, 시간 일관성은 시간 컨벌루션과 어텐션으로 처리한다.
• 잠재적 스키팅을 구현하여 ControlNet 입력을 확산 모델의 잠재 공간에서 분리함으로써 노이즈 스케일 차이에 대한 강건성을 향상시킨다.
• 역순 시간스텝 샘플링을 적용하여 새로운 백본의 연속적인 확산 시간스텝 스케줄러와 ControlNet 특징를 정렬한다.
• 여러 사전학습된 ControlNets의 (가중치가 부여된) 출력을 평균화함으로써 다중 조건 제어를 가능하게 한다.
• SDXL, I2VGen-XL, SVD, Hotshot-XL 등 다양한 백본 모델을 지원하는 모듈식 어댑터 설계를 사용한다.

Figure 1: We propose Ctrl -Adapter , an efficient and versatile framework for adding diverse spatial controls to any image or video diffusion model. Ctrl -Adapter supports a variety of useful applications, including video control, video control with multiple conditions, video control with sparse fra

실험 결과

연구 질문

• RQ1 백본 또는 ControlNet의 미세조정 없이도, 새로운 이미지 및 영상 확산 모델에 사전학습된 ControlNets를 효율적으로 적응시킬 수 있는가?
• RQ2 프레임 단위로 ControlNet 특징를 사용할 경우 영상 생성에서 시간적 일관성을 어떻게 향상시킬 수 있는가?
• RQ3 제로샷 적응화를 통해 새로운 제어 조건과 다양한 백본 모델에 일반화될 수 있는가?
• RQ4 비주얼 품질과 제어 정확도를 균형 있게 유지하는 데 가장 효과적인 아키텍처 구성 요소(예: 어텐션, 컨벌루션, 시간 모듈)는 무엇인가?
• RQ5 최소한의 계산 비용으로 다중 조건 제어 및 희소 프레임 제어와 같은 복잡한 제어 시나리오를 지원할 수 있는가?

주요 결과

• Ctrl-Adapter는 이미지 제어에서 COCO 데이터셋에서 전체 ControlNet 미세조정 성능을 그대로 유지하며, SDXL에서 FID 4.05를 달성한다.
• I2VGen-XL에서 영상 제어를 수행할 경우, Ctrl-Adapter는 DAVIS 2017에서 최신 기술 수준의 광학 흐름 오차 3.68을 기록하며 모든 베이스라인을 초월한다.
• Ctrl-Adapter의 훈련에는 10 GPU 시간 미만이 소요되며, ControlNet을 처음부터 훈련하는 것에 비해 계산 비용을 크게 절감한다(예: SDv1.5의 경우 약 500–600 A100 시간).
• 잠재적 스키팅은 노이즈 스케일이 다른 백본(예: SVD)에 대한 적응을 향상시키며, 희소 프레임 제어를 효과적으로 가능하게 하여 I2VGen-XL에서 FID를 7.20에서 5.98로 감소시킨다.
• SC+TC+SA+TA 구성이 영상 생성에서 시각적 품질(FID)과 공간적 제어(광학 흐름 오차)의 최적 균형을 달성한다.
• Ctrl-Adapter는 새로운 제어 조건에 대해 제로샷 전이를 가능하게 하며, ControlNet 출력을 단순 평균화함으로써 다중 조건 제어를 지원한다.

Figure 2: Left: Ctrl -Adapter (colored orange ) enables to reuse pretrained image ControlNets (colored blue ) for new image/video diffusion models (colored green ). Right: Architecture details of Ctrl -Adapter. Temporal convolution and attention layers are skipped for image diffusion backbones.