[논문 리뷰] BoxDiff: Text-to-Image Synthesis with Training-Free Box-Constrained Diffusion

Jinheng Xie, Yuexiang Li외 5명|arXiv (Cornell University)|2023. 07. 20.

Generative Adversarial Networks and Image SynthesisComputer Science인용 수 3

한 줄 요약

BoxDiff는 사전 훈련된 확산 모델의 노이즈 제거 과정에 내부 상자, 외부 상자, 모서리 제약 조건을 직접 통합하여, 경계 상자 또는 스케치와 같은 단순한 공간 제약 조건을 사용해 객체의 위치와 크기를 제어하는 훈련 없이 작동하는 텍스트-이미지 합성 방법을 제안한다. 이 방법은 추가 훈련이나 쌍방향 레이아웃 데이터가 없이도 고해상도이고 다양한 이미지를 생성하며, YOLO 점수와 T2I-Sim에서 완전히 지도 학습 기반 기준보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

Recent text-to-image diffusion models have demonstrated an astonishing capacity to generate high-quality images. However, researchers mainly studied the way of synthesizing images with only text prompts. While some works have explored using other modalities as conditions, considerable paired data, e.g., box/mask-image pairs, and fine-tuning time are required for nurturing models. As such paired data is time-consuming and labor-intensive to acquire and restricted to a closed set, this potentially becomes the bottleneck for applications in an open world. This paper focuses on the simplest form of user-provided conditions, e.g., box or scribble. To mitigate the aforementioned problem, we propose a training-free method to control objects and contexts in the synthesized images adhering to the given spatial conditions. Specifically, three spatial constraints, i.e., Inner-Box, Outer-Box, and Corner Constraints, are designed and seamlessly integrated into the denoising step of diffusion models, requiring no additional training and massive annotated layout data. Extensive experimental results demonstrate that the proposed constraints can control what and where to present in the images while retaining the ability of Diffusion models to synthesize with high fidelity and diverse concept coverage. The code is publicly available at https://github.com/showlab/BoxDiff.

연구 동기 및 목표

• 추가 훈련이나 대규모 레이아웃 데이터 주석이 필요 없이 텍스트-이미지 확산 모델에서 세밀한 공간 제어를 가능하게 하기 위해.
• 지도 학습 데이터 의존성으로 인한 자원 효율성의 한계를 해결하기 위해, 감독 학습 데이터를 최소한의 사용자 제공 공간 조건으로 대체하기 위해.
• Stable Diffusion와 같은 사전 훈련된 확산 모델의 강력한 제로샷 일반화 능력과 고해상도 이미지 생성 능력을 유지하기 위해.
• 공간 제약 조건을 통해 기존 조건 기반 생성 모델을 향상시키는 즉시 사용 가능한 솔루션을 제공하기 위해.

제안 방법

• 각 노이즈 제거 단계에서 U-Net의 교차 어텐션 맵에 내부 상자, 외부 상자, 모서리 제약 조건을 통합한다.
• 정밀도와 계산 비용의 균형을 위해 제약 조건을 16×16 공간 해상도의 교차 어텐션 특징에만 적용한다.
• 노이즈 제거 과정에서 이미지 품질이 악화되는 것을 방지하기 위해 대표 샘플링을 활용해 과도한 제약 효과를 완화한다.
• Stable Diffusion의 기존 교차 어텐션 메커니즘을 활용해 노이즈 제거 과정을 사용자가 지정한 공간 조건으로 유도한다.
• 모델의 미세조정이나 재학습 없이도 추론 시간에만 작동한다.
• 사용자가 제공한 상자나 스케치를 암묵적인 공간 가이던스로 간주해 모델 가중치를 수정하지 않고도 생성 과정을 유도한다.

실험 결과

연구 질문

• RQ1 모델 미세조정이나 대규모 쌍방향 레이아웃 데이터가 없이도 텍스트-이미지 생성에서 공간 제어를 달성할 수 있는가?
• RQ2 경계 상자와 같은 단순한 사용자 제공 조건을 어떻게 효과적으로 활용해 확산 기반 이미지 합성에서 객체의 위치와 크기를 유도할 수 있는가?
• RQ3 이미지 품질이나 의미적 충실도가 악화되지 않도록 공간 제약 조건을 노이즈 제거 과정에 얼마나 잘 통합할 수 있는가?
• RQ4 제안된 방법이 폐쇄 집합 학습 분포를 초월한 새로운 객체 유형에 일반화될 수 있는가?
• RQ5 객체 검출 및 의미적 일치도 메트릭 측면에서 완전히 지도 학습 기반 레이아웃-이미지 모델과 비교해 정량적으로 어떻게 성능을 내는가?

주요 결과

• BoxDiff는 Stable Diffusion와 함께 사용했을 때 YOLO 점수 22.3을 기록하여, LostGAN(5.3), LAMA(10.2), TwFA(10.6)와 같은 완전히 지도 학습 기반 방법보다 뚜렷하게 뛰어난 성능을 보였다.
• T2I-Sim 점수를 0.3513으로 향상시켜 생성된 이미지와 텍스트 프롬프트 간의 우수한 의미 일치도를 입증했다.
• GLIGEN과 통합했을 때 YOLO 점수는 40.2에서 46.2로, T2I-Sim 점수는 0.3511에서 0.3513으로 상승하여, 이는 BoxDiff가 즉시 사용 가능한 구성 요소로서의 효과를 입증한다.
• 메서드는 객체 크기를 성공적으로 제어한다: 조건 상자 크기가 커질수록 성루가 작은 것에서 큰 것으로 커지며, 다른 콘텐츠는 그대로 유지된다.
• 동일한 조건 상자 내에서 콘텐츠(예: 초원, 해바라기, swamps)와 크기를 동시에 변경하는 다수 수준의 변형을 가능하게 한다.
• 시각적 결과는 텍스트 프롬프트에 '중간에'와 같은 위치적 단서가 포함되어 있어도 객체 위치가 제공된 상자에 정확히 따라가며 이동하는 것을 확인했다.