[논문 리뷰] Reduce, Reuse, Recycle: Compositional Generation with Energy-Based Diffusion Models and MCMC

Yilun Du, Conor Durkan외 7명|arXiv (Cornell University)|2023. 02. 22.

Generative Adversarial Networks and Image Synthesis인용 수 14

한 줄 요약

이 논문은 확산 모델을 MCMC 샘플링 및 에너지 기반 매개변수화와 결합하여 이미지 및 텍스트-이미지 작업 전반에서 정확한 조합 생성이 가능함을 보여주고, 여러 설정에서 표준 역확산 샘플링보다 우수함.

ABSTRACT

Since their introduction, diffusion models have quickly become the prevailing approach to generative modeling in many domains. They can be interpreted as learning the gradients of a time-varying sequence of log-probability density functions. This interpretation has motivated classifier-based and classifier-free guidance as methods for post-hoc control of diffusion models. In this work, we build upon these ideas using the score-based interpretation of diffusion models, and explore alternative ways to condition, modify, and reuse diffusion models for tasks involving compositional generation and guidance. In particular, we investigate why certain types of composition fail using current techniques and present a number of solutions. We conclude that the sampler (not the model) is responsible for this failure and propose new samplers, inspired by MCMC, which enable successful compositional generation. Further, we propose an energy-based parameterization of diffusion models which enables the use of new compositional operators and more sophisticated, Metropolis-corrected samplers. Intriguingly we find these samplers lead to notable improvements in compositional generation across a wide set of problems such as classifier-guided ImageNet modeling and compositional text-to-image generation.

연구 동기 및 목표

• 간단한 확산 모델 조합이 실패하는 이유를 제시하고 샘플러 한계를 근본 원인으로 식별합니다.
• 재학습 없이 올바른 조합 생성을 가능하게 하는 MCMC 기반 샘플링과 에너지 기반 매개변수화를 제안합니다.
• 2D, CLEVR 유사 도형, ImageNet 분류자 가이드, 텍스트-이미지 합성에서 개선된 조합 생성 시연.
• 에너지 기반 확산이 곱, 혼합, 부정과 같은 더 유연하고 정교한 조합 연산자를 가능하게 하는 방법을 보여줍니다.

제안 방법

• 점수 기반/잡음-매칭 제거 관점에서 확산 모델을 프레이밍하고 베이즈 규칙과 가이던스 스케일을 통한 조건부 가이드를 논의합니다.
• 조합 연산자: 곱, 혼합, 부정의 도입과 분석, 그리고 순수 점수 기반 조합이 실패할 수 있는 이유를 보입니다.
• 메트로폴리스 보정 변형을 포함한 합성 분포에서 샘플링하기 위한 어닐링된 MCMC 샘플러(ULA, HMC 변형)를 제안합니다.
• 에너지 기반 매개변수화 f_theta(x,t)와 epsilon_theta(x,t) = -∇x f_theta(x,t)를 채택하여 명시적 비정규화 로그 밀도를 얻고 메트로폴리스 보정과 더 풍부한 조합을 가능하게 합니다.
• 에너지 기반 매개변수화가 샘플링을 통해 합성 분포를 충실하게 샘플링하도록 하는 MCMC 샘플링을 가능하게 한다는 것을 보여줍니다.
• 2D 밀도, CLEVR 유사 큐브 배치, ImageNet 분류자 가이드 생성, 텍스트-이미지 조합에 이 접근법을 적용하며, 태피스트리 스타일의 다중 스케일 콘텐츠를 포함합니다.

Figure 1 : Creating new models through composition. Simple operators enable diffusion models to be composed without retraining in settings such (a) products, (b) classifier conditioning, (c) compositional text-to-image generation with products and mixtures, (d) image tapestries with different conten

실험 결과

연구 질문

• RQ1 표준 역확산을 사용하여 재학습 없이 확산 모델 조합을 샘플-정확하게 실현할 수 있는가?
• RQ2 메트로폴리스 보정 여부에 관계없이 ULA, HMC 기반 샘플링이 조합 분포에 충실한 샘플을 산출하는가, 그리고 에너지 기반 매개변화가 이것에 어떤 영향을 미치는가?
• RQ3 다양한 영역(2D, 3D 유사 도형, ImageNet, 텍스트-이미지)에서 조합 연산자(곱, 혼합, 부정)를 적용할 때 샘플 품질과 충실도에 실제 이점은 무엇인가?
• RQ4 에너지 기반 확산 모델은 점수 기반 매개변화에 비해 더 정교한 샘플러와 조합을 가능하게 하는가?

주요 결과

• 나이브 역확산 샘플링은 확산 모델 엔트리에서 구성 분포(곱/혼합)를 충실히 실현하지 못한다.
• 어닐링된 MCMC 샘플링(ULA, HMC)은 구성 모델의 샘플을 개선하며, 메트로폴리스 보정은 추가 이점을 제공합니다.
• 명시적 로그-밀도를 허용하는 에너지 기반 매개변수화는 효과적인 메트로폴리스 보정 샘플러(MALA, HMC)를 가능하게 하며 조합 작업에서 현저한 개선을 제공합니다.
• 2D 밀도, CLEVR 유사 큐브 조건화, ImageNet 분류자 가이던 생성, 텍스트-이미지 조합 전반에서 MCMC 기반 샘플링과 에너지 기반 매개변수화가 더 높은 충실도와 더 나은 정량적 지표를 달성합니다(예: RAISE/LL/MMD 기반 평가; 분류자 가이드 ImageNet에서의 Inception Score 및 FID 향상).
• 이 접근법은 텍스트-이미지 조합 및 이미지 태피스트리 생성 가능성을 열며, 샘플링 방법이 (모델뿐만 아니라) 조합 성공을 좌우한다는 것을 시사합니다.

Figure 2 : An illustration of product and mixture compositional models, and the improved sampling performance of MCMC in both cases. Left to right: Component distributions, ground truth composed distribution, reverse diffusion samples, HMC samples. Top: product, bottom: mixture. Reverse diffusion fa