[논문 리뷰] HiCo: Hierarchical Controllable Diffusion Model for Layout-to-image Generation

Bo Cheng, Yuhang Ma외 6명|arXiv (Cornell University)|2024. 10. 18.

Computer Graphics and Visualization Techniques인용 수 4

한 줄 요약

HiCo는 복잡한 레이아웃에서 객체 일관성과 이미지 품질을 향상시키기 위해 다중 지점, 가중치 공유 조건 구조를 사용하는 계층적 제어 가능한 확산 모델을 제안한다. 이는 공간 분리 성능을 향상시켜 객체 일관성과 이미지 품질을 개선한다. 새로운 HiCo-7K 벤치마크와 COCO-3K에서 최신 기술 수준의 성능을 달성하며, FuseNet 융합 기법과 LoRA/LCM 통합을 통해 더 빠른 추론과 향상된 제어성을 제공한다.

ABSTRACT

The task of layout-to-image generation involves synthesizing images based on the captions of objects and their spatial positions. Existing methods still struggle in complex layout generation, where common bad cases include object missing, inconsistent lighting, conflicting view angles, etc. To effectively address these issues, we propose a extbf{Hi}erarchical extbf{Co}ntrollable (HiCo) diffusion model for layout-to-image generation, featuring object seperable conditioning branch structure. Our key insight is to achieve spatial disentanglement through hierarchical modeling of layouts. We use a multi branch structure to represent hierarchy and aggregate them in fusion module. To evaluate the performance of multi-objective controllable layout generation in natural scenes, we introduce the HiCo-7K benchmark, derived from the GRIT-20M dataset and manually cleaned. https://github.com/360CVGroup/HiCo_T2I.

연구 동기 및 목표

• 복잡한 시나리오에서 지속적인 문제인 객체 누락, 일관성 없는 조명, 충돌하는 시각 각도 문제를 해결하기 위해.
• 다중 조건 분지 구조를 통해 레이아웃을 계층적으로 모델링하여 공간 분리 성능과 구성 조화를 향상시키기 위해.
• 자연 풍경에서 다강인물 기반 제어 가능한 레이아웃 생성을 평가하기 위한 새로운 고품질 벤치마크인 HiCo-7K를 제안하기 위해.
• LoRA, LCM 및 모델 체크포인트 스위칭 통합을 통해 탄력적인 확장성 제공하기 위해.
• 폐쇄형 및 개방형 레이아웃 생성 작업 모두에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 모델은 각 객체의 계층적 레이아웃 특징을 별도로 추출할 수 있도록 다중 지점, 가중치 공유 아키텍처를 사용한다. 이는 국소 제어를 가능하게 한다.
• FuseNet 모듈은 합성, 평균, 또는 주의 기반 마스크를 사용하여 개별 객체 지점과 전체 배경 지점의 특징을 비파rametric적으로 융합한다.
• 전체 배경 지점은 전반적인 시나리오 일관성과 가림 순서를 안내하기 위해 전역 프롬프트를 사용한다.
• ControlNet 또는 IP-Adapter와 유사한 조건 지점 아키텍처를 통해 사전 학습된 텍스트-이미지 확산 모델(예: Stable Diffusion)과 통합된다.
• 추론은 병렬 및 순차 모드를 모두 지원하며, 병렬 모드에서는 객체 지점 간 배치 처리를 통해 성능 향상을 이룬다.
• LoRA 미세조정 및 LCM(Latent Consistency Models)와의 호환성을 통해 고속·고품질 추론이 가능하다.

실험 결과

연구 질문

• RQ1 레이아웃 특징의 계층적 모델링이 복잡한 레이아웃-이미지 생성에서 객체 일관성과 공간 일관성 향상에 기여하는가?
• RQ2 제안된 다중 지점, 융합 조건 구조는 기존의 학습 불필요 및 학습 기반 방법 대비 복잡한 레이아웃 처리에서 어떻게 비교되는가?
• RQ3 HiCo 모델은 고속 추론과 모델 유연성 지원을 동시에 유지하면서도 얼마나 높은 이미지 품질과 제어성을 유지를 할 수 있는가?
• RQ4 새로운 HiCo-7K 벤치마크는 자연 풍경에서의 레이아웃-이미지 생성을 객관적으로 평가하는 데 얼마나 효과적인가?
• RQ5 LoRA를 활용하여 개방형, 세밀한 텍스트 기반 설명 및 다중 개념 생성을 효과적으로 처리할 수 있는가?

주요 결과

• HiCo는 개방형 HiCo-7K 벤치마크에서 최신 기술 수준의 성능을 달성했으며, Fréchet Inception Distance(FID)는 15.26, 평균 재현율(AR)은 39.51을 기록했다.
• 폐쇄형 COCO-3K 데이터셋에서 HiCo는 FID 18.78과 AR 36.30을 기록했으며, CAG 및 GLIGEN과 같은 기존 방법들을 능가했다.
• 마스크 기반 융합을 사용한 FuseNet 모듈이 가장 우수한 성능을 보였으며, HiCo-7K에서 FID는 15.26으로 감소하고 LocalIoU 스코어는 59.07로 상승했다.
• 24GB V100 GPU 환경에서 비교된 여섯 모델 중에서 HiCo는 가장 빠른 추론 시간과 두 번째로 낮은 GPU 메모리 사용량을 기록했으며, 512×512 이미지 생성 시간은 1초 이내였다.
• LCM 및 Lightning 추론 모드를 통해 고속 추론을 지원하여 실시간 생성이 가능하고 고품질을 유지한다.
• 주관적 평가 결과, 특히 겹치는 객체가 많은 복잡한 레이아웃에서 기존 모델 대비 더 조화롭고 현실적인 이미지를 생성하는 것으로 확인되었다.