[논문 리뷰] Object-Centric Slot Diffusion

Jindong Jiang, Feiqi Deng외 2명|arXiv (Cornell University)|2023. 03. 20.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

이 논문은 전통적인 슬롯 디코더를 조건부 잠재 확산 모델로 대체하는 Latent Slot Diffusion (LSD)를 소개한다. 이는 텍스트 감독 없이도 비지도 합성 이미지 생성이 가능한, 객체 중심 학습 분야에서 처음으로 개발된 모델이다. LSD는 특히 복잡한 환경에서 최신 트랜스포머 기반 디코더보다 뛰어난 성능을 보이며, FFHQ에서 고해상도 얼굴 생성이나 비지도 개념 기반 이미지 편집과 같은 새로운 응용 분야를 가능하게 한다.

ABSTRACT

The recent success of transformer-based image generative models in object-centric learning highlights the importance of powerful image generators for handling complex scenes. However, despite the high expressiveness of diffusion models in image generation, their integration into object-centric learning remains largely unexplored in this domain. In this paper, we explore the feasibility and potential of integrating diffusion models into object-centric learning and investigate the pros and cons of this approach. We introduce Latent Slot Diffusion (LSD), a novel model that serves dual purposes: it is the first object-centric learning model to replace conventional slot decoders with a latent diffusion model conditioned on object slots, and it is also the first unsupervised compositional conditional diffusion model that operates without the need for supervised annotations like text. Through experiments on various object-centric tasks, including the first application of the FFHQ dataset in this field, we demonstrate that LSD significantly outperforms state-of-the-art transformer-based decoders, particularly in more complex scenes, and exhibits superior unsupervised compositional generation quality. In addition, we conduct a preliminary investigation into the integration of pre-trained diffusion models in LSD and demonstrate its effectiveness in real-world image segmentation and generation. Project page is available at https://latentslotdiffusion.github.io

연구 동기 및 목표

• 확산 모델을 객체 중심 학습에 통합할 수 있는지 탐색하는 것. 이 분야는 아직 거의 탐색되지 않은 분야이다.
• 기존의 슬롯 디코더를 강력한 조건부 확산 생성기로 대체하여, 복잡한 환경에서 이미지 생성 품질을 향상시키는 모델을 개발하는 것.
• 학습된 객체 중심 슬롯에서 시각적 프롬프트를 구성함으로써 텍스트 애너테이션의 필요 없이도 비지도 합성 조건부 생성을 가능하게 하는 것.
• LSD의 성능을 다양한 작업, 특히 고해상도 데이터셋인 FFHQ에서의 비지도 세그멘테이션, 속성 예측, 이미지 편집 등에 대해 평가하는 것.
• 사전 훈련된 오토에인코더와 확산 모델의 통합을 통해 실세계 이미지 생성 및 세그멘테이션의 향상을 도모하는 것.

제안 방법

• LSD는 입력 이미지에서 객체 중심 슬롯을 추출하기 위해 슬롯 어텐션을 사용하며, 이 슬롯들이 잠재 확산 모델의 조건 입력으로 기능한다.
• 모델는 이미지 잠재 표현에 노이즈 스케줄을 적용한 후 이를 역으로 제거하도록 훈련된 덴즈잉 U-Net 아키텍처를 사용한다. 이 과정은 객체 슬롯에 조건이 된다.
• 이미지 잠재 표현은 사전 훈련된 오토에인코더를 통해 확보되며, 훈련 중에 노이즈가 추가되어 덴즈잉 학습이 가능하도록 한다.
• 다른 이미지의 슬롯을 조합함으로써 합성 생성을 가능하게 하며, 추출된 슬롯에서 k-means 클러스터링을 통해 시각적 개념 라이브러리를 구성한다.
• 슬롯 기반 편집은 이미지 디코딩 중 특정 슬롯을 선택적으로 포함하거나 제거함으로써 수행되며, 세그멘테이션 마스크는 어텐션 가중치에서 유도된다.
• 모델는 객체 슬롯을 시각적 프롬프트로 간주함으로써 텍스트 애너테이션의 필요 없이도 비지도 조건부 생성을 지원한다.

실험 결과

연구 질문

• RQ1 확산 모델이 객체 중심 학습에 효과적으로 통합될 수 있는가? 특히 복잡한 환경에서의 이미지 생성 향상에 기여하는가?
• RQ2 기존의 슬롯 디코더를 잠재 확산 모델로 대체할 경우, 자동회귀 트랜스포머보다 비지도 합성 생성 성능이 향상되는가?
• RQ3 텍스트 설명과 같은 어떤 감독 애너테이션 없이도, 시각적 슬롯만을 조건으로 사용하여 고해상도 이미지를 생성할 수 있는가?
• RQ4 이전에 객체 중심 모델이 어려움을 겪었던 고해상도 복잡한 데이터셋인 FFHQ에서 LSD의 성능은 어떠한가?
• RQ5 간단한 환경에서는 LSD의 한계는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• LSD는 특히 복잡한 환경과 고해상도 데이터셋인 FFHQ에서 최신 트랜스포머 기반 디코더보다 뛰어난 성능을 보이며, 이미지 재구성 및 생성에서 뚜렷한 향상을 이룬다.
• 이 모델은 객체 중심 학습에서 FFHQ 데이터셋을 처음으로 적용하여, 분리된 특성을 가진 고해상도이고 세밀한 얼굴 이미지를 생성할 수 있게 되었다.
• LSD는 비지도 합성 생성 품질을 향상시켜, 서로 다른 이미지의 슬롯을 조합함으로써 일관성 있는 속성 유지와 함께 타당한 이미지 합성을 가능하게 한다.
• 사전 훈련된 오토에인코더의 사용은 이미지의 선명도와 디테일의 정확도를 향상시키지만, 약한 디코더와 조합할 경우 형태나 질감에 잡음이 발생할 수 있다.
• 정확한 세그멘테이션을 기반으로 한 슬롯 기반 편집(예: 얼굴 교체, 배경 교체)은 효과적이지만, 객체가 여러 슬롯에 나뉘어 있을 경우 성능이 저하된다.
• CLEVRTex와 같은 매우 단순한 환경에서는 LSD가 오버피팅 문제를 보이며, 이는 고용량 디코더가 구조적 복잡성이 낮은 환경에 적합하지 않음을 시사한다.