[논문 리뷰] Learning Semantic Person Image Generation by Region-Adaptive Normalization

Zhengyao Lv, Xiaoming Li외 5명|arXiv (Cornell University)|2021. 04. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 4

한 줄 요약

이 논문은 표적 시맨틱 파싱 맵을 먼저 예측하고, 영역별 적응형 정규화를 사용해 각 영역의 외관 스타일을 전달하는 이단계 프레임워크인 SPGNet을 제안한다. 이는 최신 기법들에 비해 사진처럼 현실적인 결과와 높은 일관성을 확보하며, DeepFashion에서 FID 점수 12.613을 기록하고, 두 번째로 좋은 방법보다 Jab 점수 8.06% 높게 기록한다.

ABSTRACT

Human pose transfer has received great attention due to its wide applications, yet is still a challenging task that is not well solved. Recent works have achieved great success to transfer the person image from the source to the target pose. However, most of them cannot well capture the semantic appearance, resulting in inconsistent and less realistic textures on the reconstructed results. To address this issue, we propose a new two-stage framework to handle the pose and appearance translation. In the first stage, we predict the target semantic parsing maps to eliminate the difficulties of pose transfer and further benefit the latter translation of per-region appearance style. In the second one, with the predicted target semantic maps, we suggest a new person image generation method by incorporating the region-adaptive normalization, in which it takes the per-region styles to guide the target appearance generation. Extensive experiments show that our proposed SPGNet can generate more semantic, consistent, and photo-realistic results and perform favorably against the state of the art methods in terms of quantitative and qualitative evaluation. The source code and model are available at https://github.com/cszy98/SPGNet.git.

연구 동기 및 목표

• 새로운 자세에서 사진처럼 현실적이며 의미적으로 일관된 인체 이미지를 생성하는 데 도전하는 것.
• 기존 방법들이 세밀한 외관 세부 정보를 유지하지 못하고 뿌연 또는 일관성 없는 질감을 보이는 데서 비롯되는 한계를 극복하는 것.
• 복잡한 자세 전이 작업을 두 단계로 분해하는 것: 시맨틱 맵 예측 → 영역별 외관 번역.
• 영역별 스타일 가이던스를 통해 영역별 적응형 정규화를 활용해 외관 일관성과 현실감을 향상시키는 것.
• 정량적 지표와 정성적 결과 모두에서 최신 기법들에 비해 뛰어난 성능을 입증하는 것.

제안 방법

• 이중 단계 프레임워크를 제안한다: 첫 번째로, SPATN 모델이 원본 이미지와 표적 자세에서 표적 시맨틱 파싱 맵을 예측한다.
• 예측된 시맨틱 맵은 두 번째 단계에서 외관 번역을 안내하기 위한 조건부 지도로 사용된다.
• 새로운 영역별 적응형 정규화 레이어(SEAN)를 도입한다. 여기서 원본 이미지의 스타일 코드는 각 신체 영역에 맞게 조정되어 해당 표적 영역에 브로드캐스트된다.
• 예측된 시맨틱 파싱 맵의 품질을 향상시키기 위해 히트맵 대신 뼈대의 거리 맵을 사용한다.
• SPGNet 생성자는 조건부 정규화를 활용한 이중 경로 U-Net 아키텍처를 사용해 고해상도 이미지를 합성한다.
• 정규화 대안으로 조건부 컨볼루션 커널도 탐색했지만, 영역별 적응형 정규화가 더 우수한 결과를 얻었다.

실험 결과

연구 질문

• RQ1 표적 시맨틱 파싱 맵을 예측하는 것이 새로운 자세에서의 인체 이미지 생성 품질과 일관성에 기여하는가?
• RQ2 전역 정규화(예: AdaIN)에 비해 영역별 적응형 정규화는 자세 전이 과정에서 각 영역의 외관 세부 정보를 얼마나 잘 유지하는가?
• RQ3 뼈대 표현에 히트맵 대신 거리 맵을 사용하면 더 나은 시맨틱 맵 예측과, 그에 따라 더 나은 이미지 생성이 가능한가?
• RQ4 이중 단계 접근법—시맨틱 맵 예측 → 영역별 스타일 번역—은 엔드 투 엔드 자세 전이 방법에 비해 우월한 성능을 낼 수 있는가?
• RQ5 영역별 스타일 가이던스는 시각적 잡음과 왜곡을 줄이고 현실감을 향상시키는 데 기여하는가?

주요 결과

• SPGNet은 DeepFashion 데이터셋에서 FID 점수 12.613을 기록했으며, 두 번째로 좋은 방법보다 FID 감소율 13.1%를 확보했다.
• Jab 점수(최고로 평가된 이미지 비율)는 두 번째로 좋은 방법보다 8.06% 높아, 더 뛰어난 주관적 품질을 의미한다.
• Ours-Full 버전은 가장 높은 SSIM(0.783)과 가장 낮은 LPIPS(0.2133)를 기록하여 구조적 및 주관적 충실도 향상을 확인했다.
• 제거 실험 결과, 영역별 적응형 정규화는 전역 정규화(예: SEAN) 및 기타 정규화 변형보다 성능 향상에 뚜렷한 기여를 했다.
• 시각적 비교 결과, Ours-Full은 특히 가림되거나 복잡한 자세에서 더 현실적인 질감과 일관성 있는 신체 부위를 생성함을 확인했다.
• 뼈대 표현에 거리 맵을 사용함으로써 더 정확한 시맨틱 맵 예측이 가능해졌고, 그로 인해 최종 이미지 품질이 향상되었다.