[논문 리뷰] HyperHuman: Hyper-Realistic Human Generation with Latent Structural Diffusion

Xian Liu, Jian Ren외 7명|arXiv (Cornell University)|2023. 10. 12.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

HyperHuman는 RGB, 깊이, 표면 법선 맵을 종합적으로 노이즈 제거하는 통합 잠재 확산 프레임워크를 제안하여 초현실적이고 제어 가능한 인간 이미지를 생성한다. 대규모 데이터셋(HumanVerse)과 공유 타임스텝 및 공간적으로 정렬된 브랜치를 갖춘 구조 인식 확산 모델을 활용하여, 텍스트-이미지 인간 생성 분야에서 최고 수준의 현실성, 다양성 및 구조적 일관성을 달성한다.

ABSTRACT

Despite significant advances in large-scale text-to-image models, achieving hyper-realistic human image generation remains a desirable yet unsolved task. Existing models like Stable Diffusion and DALL-E 2 tend to generate human images with incoherent parts or unnatural poses. To tackle these challenges, our key insight is that human image is inherently structural over multiple granularities, from the coarse-level body skeleton to fine-grained spatial geometry. Therefore, capturing such correlations between the explicit appearance and latent structure in one model is essential to generate coherent and natural human images. To this end, we propose a unified framework, HyperHuman, that generates in-the-wild human images of high realism and diverse layouts. Specifically, 1) we first build a large-scale human-centric dataset, named HumanVerse, which consists of 340M images with comprehensive annotations like human pose, depth, and surface normal. 2) Next, we propose a Latent Structural Diffusion Model that simultaneously denoises the depth and surface normal along with the synthesized RGB image. Our model enforces the joint learning of image appearance, spatial relationship, and geometry in a unified network, where each branch in the model complements to each other with both structural awareness and textural richness. 3) Finally, to further boost the visual quality, we propose a Structure-Guided Refiner to compose the predicted conditions for more detailed generation of higher resolution. Extensive experiments demonstrate that our framework yields the state-of-the-art performance, generating hyper-realistic human images under diverse scenarios. Project Page: https://snap-research.github.io/HyperHuman/

연구 동기 및 목표

• 기존 텍스트-이미지 모델인 Stable Diffusion 및 DALL·E 2가 달성하지 못하는 일관된 해부학적 구조와 자연스러운 자세를 갖춘 초현실적 인간 이미지 생성에 도전한다.
• 자세, 깊이, 법선 맵을 별개의 제어로 간주하는 기존의 제어 가능한 생성 방법의 한계를 극복하여 구조적 일관성 문제를 해결한다.
• 다양한 텍스트 및 뼈대 조건 하에서 다양하고 고해상도의 실외 환경의 인간 이미지 합성을 가능하게 하며, 현실성과 레이아웃 다양성을 향상시킨다.
• 잠재 확산을 통해 이미지 외관, 공간적 관계, 기하학적 구조를 종합적으로 모델링하는 통합 프레임워크를 개발한다.
• 예측된 구조 조건을 조합하는 구조 유도 리파인어를 통해 고해상도 생성의 시각적 품질을 향상시킨다.

제안 방법

• 인간 중심의 대규모 데이터셋인 HumanVerse를 구축하여, 340만 개의 실외 이미지와 함께 인간 자세, 깊이, 표면 법선, 이미지 캡션 등의 포괄적인 애너테이션을 포함한다.
• RGB, 깊이, 표면 법선 맵을 동시에 노이즈 제거하는 통합 네트워크를 사용하는 잠재 구조 확산 모델을 설계하며, 구조 전문 브랜치로 복제된 U-Net 블록을 활용한다.
• 모든 브랜치에 동일한 노이즈 타임스텝을 사용하고 채널 별 연결을 통해 다중 모odal 간 기능 융합을 통해 공간 정렬을 확보한다.
• 균일한 구조적 맵(깊이 및 법선)에서 저주파 정보 유출을 줄이기 위해 0-터미널 SNR를 적용한 개선된 노이즈 스케줄을 도입한다.
• 예측된 구조 조건을 조합하여 더 높은 해상도(1024×1024)의 이미지를 생성하는 데 초점을 맞춘 구조 유도 리파인어를 도입한다.
• RGB에 대한 표준 확산 목표와 깊이 및 법선 맵에 대한 L2 오차를 조합한 다중 작업 손실을 사용하여 모델을 종합적으로 훈련시킨다.

Figure 1: Example Results and Visual Comparison. Top: The proposed HyperHuman simultaneously generates the coarse RGB, depth, normal, and high-resolution images conditioned on text and skeleton. Both photo-realistic images and stylistic renderings can be created. Bottom: We compare with recent T2I m

실험 결과

연구 질문

• RQ1 통합 확산 프레임워크에서 RGB, 깊이, 표면 법선 맵을 공동으로 노이즈 제거함으로써 생성된 인간 이미지의 현실성과 구조적 일관성이 크게 향상되는가?
• RQ2 뼈대 자세에서 세밀한 기하학적 세부 정보에 이르기까지 다중 해상도의 인간 구조를 모델링할 경우, 텍스트-이미지 생성의 품질과 다양성에 어떤 영향을 미치는가?
• RQ3 공유된 노이즈 스케줄과 공간적으로 정렬된 브랜치를 사용할 경우, 외관과 구조 간의 기능 융합 및 일관성이 얼마나 향상되는가?
• RQ4 예측된 구조 조건을 조합하는 구조 유도 리파인어가 고해상도 이미지 생성을 효과적으로 향상시킬 수 있는가?
• RQ5 기본적인 T2I 모델 및 제어 가능한 생성 기반 모델과 비교할 때, 제안된 방법은 현실성, 다양성, 사용자 선호도 측면에서 어떤가?

주요 결과

• HyperHuman는 COCO-Val Human에서 Fréchet Inception Distance(FID) 17.18과 CLIP-FID 7.82를 기록하여, SD 2.1, SDXL, ControlNet을 포함한 모든 기준 모델을 능가한다.
• 절단 실험 결과, 두 개의 DownBlock 및 UpBlock 복제본을 사용해 RGB, 깊이, 법선 맵을 동시에 노이즈 제거할 경우 최고의 성능(비디오: FID 17.18, CLIP-FID 7.82)을 기록한다.
• 각 모odal에 대해 다른 타임스텝을 사용할 경우 성능이 심각하게 저하됨(FID: 29.36)하여, 기능 융합을 위해 동기화된 노이즈 제거의 중요성을 확인한다.
• 비교 실험 대비 깊이 및 법선 예측 오차(L2: 502.1 및 121.6)를 감소시켜 공간 정렬이 향상되었음을 나타낸다.
• 사용자 선호도 연구 결과, 89.24%의 사용자가 SD 2.1보다 HyperHuman를 선호하고, 98.06%는 T2I-Adapter보다, 99.08%는 HumanSD보다 HyperHuman를 선호함을 확인하여 초현실적이고 제어 가능한 성능을 입증한다.
• 프레임워크는 1024×1024 해상도에서 사진처럼 현실적인 이미지뿐 아니라 스타일러라이즈드 이미지도 성공적으로 생성하여 다양한 조건에서의 확장성과 강건성을 입증한다.

Figure 2: Overview of HyperHuman Framework. In Latent Structural Diffusion Model ( purple ), the image $\mathbf{x}$ , depth $\mathbf{d}$ , and surface-normal $\mathbf{n}$ are jointly denoised conditioning on caption $\mathbf{c}$ and pose skeleton $\mathbf{p}$ . For the notation simplicity, we denote