[논문 리뷰] FreeDoM: Training-Free Energy-Guided Conditional Diffusion Model

Jiwen Yu, Yinhuai Wang외 3명|arXiv (Cornell University)|2023. 03. 17.

Advanced Neuroimaging Techniques and Applications인용 수 5

한 줄 요약

FreeDoM는 재학습이 필요 없는 에너지 유도 조건부 확산 모델을 제안하며, 사전 훈련된 시간에 종속되지 않는 네트워크를 활용해 재학습 없이도 이미지 생성을 유도하는 에너지 함수를 구축한다. 이는 텍스트, 세그멘테이션 맵, 얼굴 ID, 스케치와 같은 다양한 조건에서 민감도 높고 저비용으로 제어할 수 있도록 하며, 추론 오버헤드가 최소화되고 다양한 이미지 및 잠재 확산 모델과의 광범위한 호환성을 확보한 상태최고 성능을 달성한다.

ABSTRACT

Recently, conditional diffusion models have gained popularity in numerous applications due to their exceptional generation ability. However, many existing methods are training-required. They need to train a time-dependent classifier or a condition-dependent score estimator, which increases the cost of constructing conditional diffusion models and is inconvenient to transfer across different conditions. Some current works aim to overcome this limitation by proposing training-free solutions, but most can only be applied to a specific category of tasks and not to more general conditions. In this work, we propose a training-Free conditional Diffusion Model (FreeDoM) used for various conditions. Specifically, we leverage off-the-shelf pre-trained networks, such as a face detection model, to construct time-independent energy functions, which guide the generation process without requiring training. Furthermore, because the construction of the energy function is very flexible and adaptable to various conditions, our proposed FreeDoM has a broader range of applications than existing training-free methods. FreeDoM is advantageous in its simplicity, effectiveness, and low cost. Experiments demonstrate that FreeDoM is effective for various conditions and suitable for diffusion models of diverse data domains, including image and latent code domains.

연구 동기 및 목표

• 각 새로운 조건에 대해 재학습이 필요한 기존 조건부 확산 모델의 높은 비용과 유연성 부족 문제를 해결하기 위해.
• 모델 미세조정 없이도 다양한 조건부 생성 작업을 지원하는 일반화 가능한 재학습이 없는 방법을 개발하기 위해.
• 시간에 종속되지 않는 에너지 함수를 구성하기 위해 시장에서 구입 가능한 사전 훈련된 네트워크를 활용하여 효과적이고 효율적인 조건부 제어를 실현하기 위해.
• 이중 이미지 및 잠재 확산 모델을 포함한 다양한 데이터 도메인을 지원하며, 최소한의 계산 오버헤드를 유지하기 위해.

제안 방법

• FreeDoM는 사전 훈련된 모델(예: 얼굴 검출기, CLIP 등)을 사용해 시간에 종속되지 않는 에너지 함수를 구축하여, 훈련 없이도 확산 샘플링 과정을 유도한다.
• 에너지 함수의 기울기를 도함수 단계를 통해 역확산 과정에 통합함으로써, 원래 샘플링 루프에 최소한의 수정으로 조건부 생성을 가능하게 한다.
• 샘플링 단계를 줄이고 추론 속도를 향상시키기 위해 시간 여행 전략을 적용하며, 높은 품질의 생성을 유지한다.
• 에너지 함수를 가중치 조합을 통해 독립적인 에너지 함수를 결합함으로써 다중 조건 제어를 지원하며, Eq. (12)에 기반한 탄력적인 조건 융합을 가능하게 한다.
• 에너지 함수는 시장에서 구입 가능한 모델을 사용해 근사함으로써, 세그멘테이션 맵, 스케치, 스타일 이미지 등 다양한 조건에서 광범위한 적용성과 저비용을 확보한다.
• 이 방법은 이미지 및 잠재 확산 모델 모두와 호환되며, 재학습 없이 다양한 데이터 도메인에서 활용 가능하다.

실험 결과

연구 질문

• RQ1 재학습 없이도 서로 다른 관련 없는 조건에서 효과적으로 생성을 유도할 수 있는 재학습이 없는 조건부 확산 모델은 가능한가?
• RQ2 사전 훈련된 에너지 함수를 사용하는 재학습이 없는 방법의 성능은 재학습이 필요한 기준 모델 대비 어떻게 비교되는가?
• RQ3 제안된 에너지 유도 샘플링 전략은 추론 비용을 줄이면서도 높은 이미지 품질을 유지할 수 있는가?
• RQ4 에너지 함수의 학습률 파rameter를 조절함으로써 조건 유도 강도를 조절할 때 이 방법의 확장성과 제어 가능성은 어느 정도인가?
• RQ5 텍스트와 얼굴 ID와 같은 다수의 독립된 조건을 성능 저하 없이 효과적으로 융합할 수 있는가?

주요 결과

• FreeDoM는 재학습이 필요한 TediGAN보다 텍스트-이미지 생성에서 조건 일치도와 이미지 품질 모두에서 뛰어나며, FID(55.91 vs. 71.71)와 거리(10.83 vs. 12.31) 모두에서 우수한 성능을 기록했다.
• 스타일 유도 생성에서는 UGD보다 참조 스타일 이미지와의 일치도가 뛰어나며, 단일 512×512 이미지에서 30배 빠른 속도(84초 vs. 40분)를 기록했다.
• 에너지 함수의 학습률을 증가시킴으로써 조건 유도 강도를 조절할 수 있는 확장성은 입증되었으며, 그림 10에 도시된 바와 같다.
• FreeDoM는 재학습이나 미세조정 없이도 세그멘테이션 맵, 스케치, 텍스트, 얼굴 ID, 스타일 이미지 등 다양한 조건을 지원한다.
• 무작위 ImageNet 및 인간 얼굴 확산 모델을 포함한 다양한 데이터 도메인에서 뛰어난 성능을 유지함으로써 일반화 능력을 입증했다.
• Canny 에지와 같은 모순되거나 세밀한 구조적 조건을 다루는 데에는 한계가 있지만, 대부분의 조건부 생성 작업에 대해 강력하고 저비용 대안을 제공한다.