[논문 리뷰] Down to the Last Detail: Virtual Try-on with Detail Carving

Jiahang Wang, Wei Zhang외 2명|arXiv (Cornell University)|2019. 12. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 11인용 수 10

한 줄 요약

이 논문은 자주적인 자세와 의류 이동 중에도 옷 텍스처와 얼굴 정체성을 세밀하게 유지하는 다단계 가상 시착 프레임워크를 제안한다. 수준별 특징 융합을 위한 트리 블록(Tree-Block)과 엔드 투 엔드 훈련을 도입함으로써, 표준 벤치마크에서 시각적 사실성과 세부 사항 유지 측면에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Virtual try-on under arbitrary poses has attracted lots of research attention due to its huge potential applications. However, existing methods can hardly preserve the details in clothing texture and facial identity (face, hair) while fitting novel clothes and poses onto a person. In this paper, we propose a novel multi-stage framework to synthesize person images, where rich details in salient regions can be well preserved. Specifically, a multi-stage framework is proposed to decompose the generation into spatial alignment followed by a coarse-to-fine generation. To better preserve the details in salient areas such as clothing and facial areas, we propose a Tree-Block (tree dilated fusion block) to harness multi-scale features in the generator networks. With end-to-end training of multiple stages, the whole framework can be jointly optimized for results with significantly better visual fidelity and richer details. Extensive experiments on standard datasets demonstrate that our proposed framework achieves the state-of-the-art performance, especially in preserving the visual details in clothing texture and facial identity. Our implementation will be publicly available soon.

연구 동기 및 목표

• 자주적인 자세에서 의류 텍스처와 얼굴 정체성을 세밀하게 유지하는 데 도전하는 문제를 해결한다.
• 기존 방법들이 자세와 의류 이동 중에 눈에 띄는 영역의 시각적 사실성을 유지하지 못하는 한계를 극복한다.
• 공간 정렬을 굵은 흐름에서 세밀한 이미지 생성으로 분리하는 다단계 프레임워크를 개발하여 제어성과 세부 사항 유지에 기여한다.
• 생성망 네트워크에서 다중 척도 특징을 효과적으로 활용하기 위해 트리 블록 모듈을 도입한다.

제안 방법

• 가상 시착 작업을 두 단계로 분해한다: 공간 정렬 → 굵은 흐름에서 세밀한 이미지 생성.
• 계층적 확장 컨볼루션 구조를 사용해 다중 척도 특징을 융합하는 트리 블록(Tree-Block, tree dilated fusion block)을 설계하여 눈에 띄는 영역의 특징 표현을 향상시킨다.
• 전체 프레임워크의 시각적 품질과 세부 사항 정확도를 향상시키기 위해 모든 단계에서 엔드 투 엔드 훈련을 실시한다.
• 다중 척도에서 이미지 합성을 정밀하게 개선하기 위해 트리 블록이 강화된 생성망 네트워크를 활용하여 옷 무늬와 얼굴 세부 사항을 유지한다.
• 사람의 자세를 먼저 정렬한 후 점차 세밀해지는 세부 사항으로 이미지를 점진적으로 개선하는 다단계 훈련 전략을 적용한다.
• 트리 블록에서 얻는 풍부한 특징 표현을 활용하여 새로운 옷과 자세 이동 중에도 정체성과 텍스처 일관성을 유지한다.

실험 결과

연구 질문

• RQ1 단일 단계 접근 방식에 비해 다단계 프레임워크가 세부 사항 유지에 얼마나 효과적인가?
• RQ2 트리 블록 모듈이 의류 텍스처와 얼굴 정체성을 유지하기 위해 다중 척도 특징을 얼마나 효과적으로 캡처하는가?
• RQ3 다단계 간 엔드 투 엔드 훈련이 시각적 사실성과 세부 사항 정확도를 얼마나 향상시키는가?
• RQ4 제안된 방법이 자주적인 자세에서 세밀한 세부 사항을 유지하는 데 있어 기존 최신 기술 수준의 방법을 초월하는가?

주요 결과

• 제안된 프레임워크는 표준 가상 시착 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 특히 옷 텍스처 세부 사항 유지 측면에서 뛰어난 성능을 보였다.
• 트리 블록 모듈은 눈에 띄는 영역의 특징 표현을 크게 향상시켜 더 선명하고 현실적인 텍스처 합성을 가능하게 하였다.
• 다단계 프레임워크의 엔드 투 엔드 훈련은 더 나은 정렬과 정밀 조정을 가능하게 하여 높은 시각적 사실성을 달성하였다.
• 자세와 의류 이동 중 얼굴 정체성과 털머리 세부 사항을 효과적으로 유지하는 데 뛰어난 성능을 보였다.
• 정량적 결과는 FID 및 LPIPS와 같은 지표에서 일관된 향상을 보이며 더 나은 이미지 품질과 세부 사항 유지 능력을 입증하였다.
• 다양한 자세와 의류에서 현실적인 이미지와 풍부한 세밀한 세부 사항을 생성하는 데 있어 이전 방법들을 능가하는 성능을 보였다.