Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] Person Image Synthesis via Denoising Diffusion Model

Ankan Kumar Bhunia, Salman Khan|arXiv (Cornell University)|2022. 11. 22.
Generative Adversarial Networks and Image Synthesis인용 수 16
한 줄 요약

이 논문은 자세와 외형 조건에 따라 고해상도, 사진처럼 사실적인 인체 이미지를 합성하기 위한 디노이징 확산 프레임워크인 Person Image Diffusion Model (PIDM)을 제안한다. 이미지 번역을 반복적인 디노이징 단계로 분해하고, 분리된 분류기 없는 가이던스를 갖춘 텍스처 확산 모듈을 도입함으로써, PIDM는 DeepFashion과 Market-1501에서 최신 기술 수준의 성능을 달성하여 날카롭고 현실적인 이미지를 생성하며 정확한 텍스처 보존과 향상된 다양성을 확보한다.

ABSTRACT

The pose-guided person image generation task requires synthesizing photorealistic images of humans in arbitrary poses. The existing approaches use generative adversarial networks that do not necessarily maintain realistic textures or need dense correspondences that struggle to handle complex deformations and severe occlusions. In this work, we show how denoising diffusion models can be applied for high-fidelity person image synthesis with strong sample diversity and enhanced mode coverage of the learnt data distribution. Our proposed Person Image Diffusion Model (PIDM) disintegrates the complex transfer problem into a series of simpler forward-backward denoising steps. This helps in learning plausible source-to-target transformation trajectories that result in faithful textures and undistorted appearance details. We introduce a 'texture diffusion module' based on cross-attention to accurately model the correspondences between appearance and pose information available in source and target images. Further, we propose 'disentangled classifier-free guidance' to ensure close resemblance between the conditional inputs and the synthesized output in terms of both pose and appearance information. Our extensive results on two large-scale benchmarks and a user study demonstrate the photorealism of our proposed approach under challenging scenarios. We also show how our generated images can help in downstream tasks. Our code and models will be publicly released.

연구 동기 및 목표

  • GAN 기반 방법이 복잡한 자세에서 텍스처 왜곡과 일반화 능력 부족 등의 문제를 겪는 것을 해결하기 위해.
  • 확산 모델의 내재된 안정성과 다양성을 활용하여 고해상도, 제어 가능한 인체 이미지 생성을 위해.
  • 풀어쓰기 지도나 3D 대응 관계와 같은 정밀한 앵커파일을 사용하지 않고도 암묵적인 외형-자세 대응 관계를 학습함으로써 의존도를 줄이기 위해.
  • 전역적 구조와 현실적인 텍스처를 유지하면서 모드 커버리지와 샘플 다양성을 향상시키기 위해.
  • 생성된 이미지가 인체 재식별과 같은 후속 작업에서 유용한지를 입증하기 위해.

제안 방법

  • 자세와 외형 조건에 따라 잠재 가우시안에서 노이즈를 반복적으로 제거하여 목표 이미지를 생성하는 디노이징 확산 과정으로 인체 이미지 합성을 공식화한다.
  • 원천 외형과 목표 자세 특징 간의 대응 관계를 모델링하기 위해 교차 어텐션을 사용하는 텍스처 확산 모듈을 도입하여 잡음 없는 텍스처 전이를 가능하게 한다.
  • 샘플링 중에 분리된 분류기 없는 가이던스를 적용하여 자세와 외형 정렬을 독립적으로 제어함으로써 입력 조건에 대한 충실도를 보장한다.
  • 마스크된 잠재 특징 정련을 사용한 DDIM 샘플링을 통해 참조 이미지의 특정 영역을 선택적으로 유지하거나 교체함으로써 외형 편집을 가능하게 한다.
  • 노이즈의 구면 선형 보간과 스타일 특징의 선형 보간을 통해 스타일 간의 부드러운 전이를 구현하기 위해 스타일 보간을 적용한다.
  • U-Net 백본과 어텐션 메커니즘, 학습된 노이즈 스케줄을 사용하여 DeepFashion과 Market-1501에서 모델을 종합적으로 훈련한다.
Figure 1 : (a) Our proposed PIDM is a denoising diffusion model where the generative path is conditioned on the pose and style. PIDM breaks down the problem into a series of forward-backward diffusion steps to learn the plausible transfer trajectories. (b) Comparison of PIDM with the recently introd
Figure 1 : (a) Our proposed PIDM is a denoising diffusion model where the generative path is conditioned on the pose and style. PIDM breaks down the problem into a series of forward-backward diffusion steps to learn the plausible transfer trajectories. (b) Comparison of PIDM with the recently introd

실험 결과

연구 질문

  • RQ1확산 기반 접근 방식이 정확한 자세와 외형 제어로 사진처럼 사실적인 인체 이미지를 생성하는 데서 GAN을 능가할 수 있는가?
  • RQ2풀어쓰기 지도나 3D 대응 관계와 같은 정밀한 감독 없이도 확산 모델이 복잡한 외형-자세 대응 관계를 효과적으로 학습할 수 있는가?
  • RQ3분리된 분류기 없는 가이던스가 입력 조건과 생성된 출력 간의 정렬을 얼마나 향상시키는가?
  • RQ4PIDM에서 생성된 이미지는 인체 재식별과 같은 후속 작업에서 효과적인 데이터 증강으로 활용될 수 있는가?
  • RQ5기준 데이터셋에서 기존 최신 기술 수준의 방법들과 비교해 PIDM는 다양성과 충실도 측면에서 어떻게 성과를 내는가?

주요 결과

  • PIDM는 DeepFashion과 Market-1501에서 새로운 최신 기술 수준을 달성하였으며, 각각 Fréchet Inception Distance (FID)가 10.2와 11.8로 이전 방법들을 능가하였다.
  • 분리된 분류기 없는 가이던스를 적용함으로써, 텍스처 확산이 있는 기본 모델 대비 FID가 1.1462 향상되었고, SSIM은 0.0134, LPIPS는 0.0194 향상되었다.
  • 사용자 연구에서 인간 평가자들은 복잡한 자세와 가림 상황에서도 실사성, 날카움, 외형 일관성 측면에서 PIDM가 생성한 이미지를 선호하였다.
  • 모델는 원활한 외형 편집을 가능하게 하였으며, 소스 이미지의 텍스처를 참조 이미지에 성공적으로 통합하면서도 구조적 일관성을 유지하였다.
  • DDIM 샘플링을 통한 스타일 보간은 옷 스타일 간에 자연스럽고 부드러운 전이를 생성하여 제어 가능성과 시각적 품질을 입증하였다.
  • 인체 재식별에서 데이터 증강으로 사용했을 때, 30,000개의 합성 이미지를 실제 훈련 세트의 100%에 추가함으로써 PIDM는 Market-1501에서 mAP를 78.4%로 향상시켰으며, 이는 이전 방법들을 초월하였다.
Figure 2 : (a) The proposed PIDM framework is a UNet-based network composed of a noise prediction module $\mathcal{H}_{N}$ and a texture encoder $\mathcal{H}_{E}$ . The encoder $\mathcal{H}_{E}$ encodes the texture patterns of the source image $\bm{x}_{s}$ . To obtain multi-scale features, we derive
Figure 2 : (a) The proposed PIDM framework is a UNet-based network composed of a noise prediction module $\mathcal{H}_{N}$ and a texture encoder $\mathcal{H}_{E}$ . The encoder $\mathcal{H}_{E}$ encodes the texture patterns of the source image $\bm{x}_{s}$ . To obtain multi-scale features, we derive

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.