[논문 리뷰] Soft-Gated Warping-GAN for Pose-Guided Person Image Synthesis

Haoye Dong, Xiaodan Liang외 4명|arXiv (Cornell University)|2018. 10. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 39

한 줄 요약

이 논문은 첫 번째로 목표 자세에서 부위 분할 맵을 생성하고, 그 다음으로 소프트 게이팅 워핑 블록을 사용하여 소스 이미지의 특징을 대상 레이아웃으로 전달함으로써 자세 유도 인체 이미지 합성을 위한 Soft-Gated Warping-GAN을 제안한다. 이 방법은 크게 변화하는 자세 조건에서도 뛰어난 현실감과 더불어 잡음 감소를 달성하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Despite remarkable advances in image synthesis research, existing works often fail in manipulating images under the context of large geometric transformations. Synthesizing person images conditioned on arbitrary poses is one of the most representative examples where the generation quality largely relies on the capability of identifying and modeling arbitrary transformations on different body parts. Current generative models are often built on local convolutions and overlook the key challenges (e.g. heavy occlusions, different views or dramatic appearance changes) when distinct geometric changes happen for each part, caused by arbitrary pose manipulations. This paper aims to resolve these challenges induced by geometric variability and spatial displacements via a new Soft-Gated Warping Generative Adversarial Network (Warping-GAN), which is composed of two stages: 1) it first synthesizes a target part segmentation map given a target pose, which depicts the region-level spatial layouts for guiding image synthesis with higher-level structure constraints; 2) the Warping-GAN equipped with a soft-gated warping-block learns feature-level mapping to render textures from the original image into the generated segmentation map. Warping-GAN is capable of controlling different transformation degrees given distinct target poses. Moreover, the proposed warping-block is light-weight and flexible enough to be injected into any networks. Human perceptual studies and quantitative evaluations demonstrate the superiority of our Warping-GAN that significantly outperforms all existing methods on two large datasets.

연구 동기 및 목표

• 임의의 자세 조작 조건에서 큰 공간적 불일치와 기하학적 변형 문제를 해결한다.
• 국소적 컨볼루션에 의존하는 기존 모델이 큰 자세 변화 시 부위 수준의 구조 일관성을 모델링하지 못하는 한계를 극복한다.
• 목표 자세에 의해 유도되는 부위 분할 맵을 통한 고수준의 구조 제약을 통합하여 이미지 품질을 향상시킨다.
• 자세 간의 차이에 따라 변환 정도를 적응적으로 조절할 수 있는 경량이며 유연한 워핑 메커니즘을 개발한다.
• 특히 극단적인 자세 변화 조건에서도 더 현실적이고 잡음이 없는 인체 이미지 생성을 달성한다.

제안 방법

• 주어진 목표 자세에서 목표 부위 분할 맵을 생성하기 위해 자세 유도 파서를 활용하여 이미지 합성에 고수준의 구조적 지침을 제공한다.
• 소스 이미지에서 목표 분할 맵으로 기하학적 특징 매핑을 학습하는 소프트 게이팅 워핑 GAN을 설계한다.
• 소스 및 목표 특징 맵 간의 변환 매개변수를 추정하기 위해 경량 기하 매칭기 도입한다.
• 소스 및 목표 자세 간 유사도에 따라 워핑 정도를 동적으로 제어하는 소프트 게이팅 함수를 사용한다 — 큰 자세 변화일수록 높은 값, 작은 변화일수록 낮은 값.
• 워핑 중에 효과적인 특징 맵에 집중할 수 있도록 워핑 블록 내부에 주의 메커니즘을 통합한다.
• 실제성과 구조적 정밀도를 향상시키기 위해 적대적, 인지적, L1, 분할 일致성 손실을 포함하는 다성분 손실 함수로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 자세 유도 파싱 모듈은 큰 자세 변화 조건에서도 인체 이미지 합성의 구조 일관성을 향상시킬 수 있는가?
• RQ2 소프트 게이팅 워핑 블록은 임의의 자세 조건에서 특징 수준의 정렬을 향상시키고 잡음을 줄이는 데 어떻게 기여하는가?
• RQ3 제안된 방법은 현실감과 구조 정확도 측면에서 기존의 GAN 기반 모델보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 부위 수준의 분할 맵 통합은 텍스처 렌더링과 경계 보존에 더 나은 제어를 가능하게 하는가?
• RQ5 소프트 게이팅 메커니즘은 자세 간의 차이에 따라 변환 강도를 얼마나 효과적으로 적응시키는가?

주요 결과

• 제안된 방법은 DeepFashion 및 Market-1501 데이터셋 양쪽에서 정량적 평가 지표와 인간의 인지 평가 모두에서 최신 기술 수준의 방법들을 뛰어넘는 성능을 보였다.
• MTurk에서 실시한 인간 인지 평가 결과, DeepFashion 데이터셋에서 96.3%의 작업자들이 제안된 방법의 결과를 BodyROI7의 결과보다 선호했다.
• 제거 실험 결과, 소프트 게이팅 워핑 블록을 제거할 경우 성능이 급격히 저하됨을 확인하여, 이 블록이 특징 정렬과 현실감 향상에 핵심적인 역할을 한다는 것을 입증했다.
• 자세 유도 파서의 통합으로 인해 부위 분할 맵을 통한 고수준의 구조 제약이 제공되어 생성 품질이 크게 향상되었다.
• 손실 함수의 각 구성 요소(적대적, 인지적, L1, 분할 일치성)가 모두 최종 결과에 의미 있는 기여를 하였으며, 네 가지 손실을 함께 사용했을 때 가장 우수한 성능을 기록했다.
• 정성적 결과 분석을 통해, 특히 중복 및 큰 자세 변화가 발생하는 영역에서 더 선명하고 세밀하며 자연스러운 인체 이미지를 더 적은 잡음으로 생성하는 것으로 확인되었다.