[논문 리뷰] Compositional Visual Generation with Composable Diffusion Models

Nan Liu, Shuang Li외 3명|arXiv (Cornell University)|2022. 06. 03.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 논문은 개별 확산 모델을 에너지 기반 모델로 해석함으로써 추론 시 다수의 모델을 명시적으로 조합할 수 있는 구성 가능한 확산 모델을 제안한다. 이는 복잡한 조합적 이미지를 생성할 수 있도록 한다. 논리적 AND 및 NOT 연산자를 도입함으로써, 훈련 중에 볼 수 없었던 객체, 관계, 속성의 새로운 조합에 대해 제로샷 일반화를 달성한다. 이는 CLEVR 데이터셋에서 세 개의 객체를 포함한 조합에 대해 베이스라인 대비 24.02% 향상된 성능을 기록했으며, 이미지 품질과 정확도가 향상되었다.

ABSTRACT

Large text-guided diffusion models, such as DALLE-2, are able to generate stunning photorealistic images given natural language descriptions. While such models are highly flexible, they struggle to understand the composition of certain concepts, such as confusing the attributes of different objects or relations between objects. In this paper, we propose an alternative structured approach for compositional generation using diffusion models. An image is generated by composing a set of diffusion models, with each of them modeling a certain component of the image. To do this, we interpret diffusion models as energy-based models in which the data distributions defined by the energy functions may be explicitly combined. The proposed method can generate scenes at test time that are substantially more complex than those seen in training, composing sentence descriptions, object relations, human facial attributes, and even generalizing to new combinations that are rarely seen in the real world. We further illustrate how our approach may be used to compose pre-trained text-guided diffusion models and generate photorealistic images containing all the details described in the input descriptions, including the binding of certain object attributes that have been shown difficult for DALLE-2. These results point to the effectiveness of the proposed method in promoting structured generalization for visual generation. Project page: https://energy-based-model.github.io/Compositional-Visual-Generation-with-Composable-Diffusion-Models/

연구 동기 및 목표

• 텍스트 기반 확산 모델이 객체 관계와 속성 바인딩과 같은 복잡한 조합적 기술을 이해하는 데에 한계를 보이는 문제를 해결하기 위해.
• 훈련 중에 볼 수 없었던 개념의 새로운 조합을 포함한 이미지의 제로샷 조합적 생성을 가능하게 하기 위해.
• 추가 훈련 없이 추론 시기 동안 사전 훈련된 확산 모델을 명시적인 조합 연산자로 조합하는 방법을 개발하기 위해.
• 다양한 객체, 관계, 속성을 포함하는 복잡한 장면을 생성할 때 일반화 능력과 이미지 품질을 향상시키기 위해.
• 확산 모델을 에너지 기반 모델로 해석함으로써 시각 생성에서 구조적이고 확장 가능한 조합을 가능하게 하는 방법의 효과를 입증하기 위해.

제안 방법

• 훈련된 확산 모델을 에너지 기반 모델(EBM)로 해석함으로써 에너지 함수 조합을 통한 명시적 조합을 가능하게 한다.
• 추론 시기 동안 확산 모델을 조합하기 위한 두 가지 조합 연산자인 결합(논리적 AND)과 부정(논리적 NOT)을 도입한다.
• 에너지 기반 공식화를 사용하여 각각 특정 구성요소(예: 객체, 속성, 관계)를 담당하는 다수의 확산 모델을 조합하고, 에너지 함수를 덧셈 방식으로 조합한다.
• 조합된 에너지 함수를 사용하여 노이즈 제거 확산 샘플링을 수행함으로써 모든 지정된 구성요소를 반영한 이미지를 생성한다.
• 기울기 기반 최적화 없이도 종단 간 이미지 생성이 가능한 미분 가능 샘플링 프로세스를 활용한다.
• GLIDE 및 Stable Diffusion와 같은 사전 훈련된 모델을 기본 구성 요소로 활용함으로써, 미세 조정 없이도 제로샷 조합이 가능하다.

실험 결과

연구 질문

• RQ1 구조적이고 미분 가능한 프레임워크를 사용하여 추론 시기 동안 확산 모델을 조합하여 복잡한 시각적 조합을 생성할 수 있는가?
• RQ2 제안된 방법이 훈련 중에 볼 수 없었던 객체, 관계, 속성의 새로운 조합에 일반화할 수 있는가?
• RQ3 조합된 확산 모델의 성능은 기존의 베이스라인 대비 조합적 시각 생성 작업에서 정확도와 이미지 품질 측면에서 어떻게 비교되는가?
• RQ4 조합적 접근의 실패 유형은 사전 훈련된 기본 모델의 한계와 어떻게 관련되어 있는가?
• RQ5 이 방법은 속성을 객체에 효과적으로 바인딩하고 생성된 이미지에서 관계적 구조를 유지할 수 있는가?

주요 결과

• 이 논문에서 제안한 방법은 CLEVR 데이터셋에서 지정된 위치에 세 개의 객체가 있는 이미지를 생성할 때, 가장 우수한 베이스라인 대비 24.02% 높은 정확도를 기록했다.
• 객체 관계 조합에 있어서, 이 방법은 StyleGAN2, LACE, GLIDE 및 EBM보다 이진 분류 정확도에서 뛰어난 성능을 보였으며, EBM보다도 더 우수한 FID 점수를 유지했다.
• EBM보다도 더 높은 품질의 이미지를 생성했으며, 더 선명한 객체 경계와 향상된 사진적 사실감을 보였지만, EBM는 관계 이해 측면에서 더 뛰어난 정확도를 보였다.
• DALL-E 2와 GLIDE는 고화질 이미지를 생성했음에도 불구하고 객체 관계를 이해하지 못했으며, 이는 조합적 추론에서의 핵심적 한계를 드러냈다.
• 실패 사례는 주로 사전 훈련된 모델이 특정 개념(예: 'person')을 이해하지 못하거나, 속성을 혼동하는 데 기인했다(예: 'red bear' vs. 'bear in a red forest'), 또는 중심 영역에서 조합 붕괴 현상이 발생했기 때문이었다.
• 이 방법은 언어, 객체, 관계, 얼굴 속성에 걸쳐 볼 수 없었던 개념의 조합에 대해 효과적인 제로샷 일반화를 보였다.