[논문 리뷰] Text2Human: Text-Driven Controllable Human Image Generation
Text2Human는 의류 형태에 대한 텍스트 기반 설명을 먼저 파싱 맵으로 변환한 후, 계층적이고 텍스처 인식 기반의 VQ-VAE와 확산 기반 트랜스포머 샘플러, 그리고 전문가의 혼합 모델을 사용하여 세밀한 텍스처를 합성하는 두 단계의 텍스트 기반 프레임워크를 제안한다. 이 방법은 다양성과 현실성 면에서 최신 기술을 초월하며, 특히 세밀한 텍스처 생성에서 뛰어난 성능을 보이며, 색인 예측에 대해 0.6초의 추론 속도를 기록하여 이전 방법의 25분 대비 크게 향상시켰다.
Generating high-quality and diverse human images is an important yet challenging task in vision and graphics. However, existing generative models often fall short under the high diversity of clothing shapes and textures. Furthermore, the generation process is even desired to be intuitively controllable for layman users. In this work, we present a text-driven controllable framework, Text2Human, for a high-quality and diverse human generation. We synthesize full-body human images starting from a given human pose with two dedicated steps. 1) With some texts describing the shapes of clothes, the given human pose is first translated to a human parsing map. 2) The final human image is then generated by providing the system with more attributes about the textures of clothes. Specifically, to model the diversity of clothing textures, we build a hierarchical texture-aware codebook that stores multi-scale neural representations for each type of texture. The codebook at the coarse level includes the structural representations of textures, while the codebook at the fine level focuses on the details of textures. To make use of the learned hierarchical codebook to synthesize desired images, a diffusion-based transformer sampler with mixture of experts is firstly employed to sample indices from the coarsest level of the codebook, which then is used to predict the indices of the codebook at finer levels. The predicted indices at different levels are translated to human images by the decoder learned accompanied with hierarchical codebooks. The use of mixture-of-experts allows for the generated image conditioned on the fine-grained text input. The prediction for finer level indices refines the quality of clothing textures. Extensive quantitative and qualitative evaluations demonstrate that our proposed framework can generate more diverse and realistic human images compared to state-of-the-art methods.
연구 동기 및 목표
- 의류 형태와 텍스처에 대해 명시적인 제어가 가능한 다양한 고해상도 인간 이미지 생성 문제를 해결하기 위해.
- 비전문가 사용자도 직관적인 텍스트 기반 제어를 통해 전신 인간 이미지를 생성할 수 있도록 하기 위해.
- 기존 모델이 복잡한 의류 패턴을 생성하지 못하고 세밀한 텍스처 제어가 부족한 한계를 극복하기 위해.
- 복잡한 의류의 다중 척도적 구조적 특징과 세밀한 텍스처 표현을 포괄하는 확장 가능한 계층적 코드북 시스템을 개발하기 위해.
- 피드포워드 색인 예측 네트워크를 통해 계층적 VQ-VAE 기반 이미지 생성에서 추론 속도를 향상시키고 품질을 향상시키기 위해.
제안 방법
- 프레임워크는 두 단계의 파이프라인을 사용한다: 첫 번째 단계에서는 자세와 의류 형태의 텍스트 기반 설명으로부터 인간 파싱 맵을 생성하고, 두 번째 단계에서는 텍스트 기반 텍스처 세부 정보를 활용해 최종 이미지를 합성한다.
- 구조적 텍스처 특징을 캡처하는 거친 수준의 코드북과 세밀한 텍스처를 모델링하는 미세 수준의 코드북을 갖춘 계층적 VQ-VAE가 제안된다.
- 세밀한 텍스트 입력에 조건부로 이미지 생성이 가능한 확산 기반 트랜스포머 샘플러와 전문가의 혼합 모델을 사용하여 다양한 제어 가능한 출력을 가능하게 한다.
- 거친 수준의 색인에서 미세 수준의 코드북 색인을 예측하는 피드포워드 색인 예측 네트워크를 제안하여 추론 시간을 25분에서 0.6초로 단축시켰다.
- 샘플링된 코드북 색인에서 고품질의 인간 이미지를 재구성하기 위해 디코더를 계층적 코드북과 함께 공동으로 훈련시켰다.
- 의류 형태와 텍스처에 대한 세밀한 애너테이션을 포함한 새로운 대규모 데이터셋인 DeepFashion-MultiModal을 활용한다.
실험 결과
연구 질문
- RQ1텍스트 기반 프레임워크는 의류 형태와 텍스처에 대해 명시적인 제어가 가능한 다양한 현실적인 인간 이미지를 생성할 수 있는가?
- RQ2계층적 코드북은 복잡한 의류 패턴에 대해 다중 척도의 텍스처 표현을 효과적으로 모델링할 수 있는가?
- RQ3피드포워드 색인 예측 네트워크는 품질을 손상시키지 않고 계층적 VQ-VAE 기반 이미지 생성의 추론 속도를 크게 향상시킬 수 있는가?
- RQ4전문가의 혼합 샘플러는 텍스트 조건부 이미지 합성에서 제어성과 다양성을 얼마나 향상시키는가?
- RQ5희귀 자세나 흔하지 않은 텍스처(예: 플라크 패턴) 상황에서 이 프레임워크는 어떤 성능을 보이는가?
주요 결과
- 제안된 피드포워드 색인 예측 네트워크는 추론 시간을 25분에서 0.6초로 단축시키며 동시에 텍스처 재구성 품질을 향상시켰다.
- LPIPS 및 ArcFace 메트릭스 분석 결과, 제안된 방법을 사용해 재구성된 이미지는 VQVAE2에 비해 지표에 더 가까운 것으로 확인되어 더 뛰어난 재구성 성능을 입증했다.
- 정성적 결과 분석을 통해 Text2Human은 레이스 패턴이나 플라크 패턴과 같은 복잡한 패턴을 포함한 더 현실적이고 다양한 의류 텍스처를 기존 최고 수준의 방법보다 더 잘 생성하는 것으로 나타났다.
- 특히 복잡한 의류 형태와 텍스처에 대해 세밀한 제어가 가능한 고해상도 이미지를 생성하는 데서 기존 모델을 능가하는 성능을 보였다.
- 희귀 자세나 흔하지 않은 텍스처(예: 플라크 패턴) 상황에서 실패 케이스가 발생하여 데이터 불균형과 모델 일반화 능력의 한계가 드러났다.
- 모델은 다양한 텍스트 프롬프트에 대해 뛰어난 강건성을 보였지만, 이산 단어 임베딩의 한계로 비표준 소매 길이에 대해서는 제약이 존재한다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.