[논문 리뷰] Dense Intrinsic Appearance Flow for Human Pose Transfer

Yining Li, Chen Huang외 1명|arXiv (Cornell University)|2019. 03. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 12

한 줄 요약

이 논문은 3D 모델 피팅을 통해 2D 자세에서 3D 흐름을 합성함으로써 사진처럼 생생한 질감과 세부 사항을 유지하는 데 목적이 있는 밀도 높은 내재적 3D 외관 흐름을 사용하는 새로운 인간 자세 전이 방법을 제안한다. 피드포워드 네트워크는 2D 자세에서 3D 외관 및 투명도 맵을 추론하여 효율적인 픽셀 단위 워핑을 수행하며, DeepFashion 및 Market-1501에서 최신 기술 수준의 성능을 달성하여 이미지 품질과 속성 유지 능력에서 뛰어난 성과를 보인다.

ABSTRACT

We present a novel approach for the task of human pose transfer, which aims at synthesizing a new image of a person from an input image of that person and a target pose. We address the issues of limited correspondences identified between keypoints only and invisible pixels due to self-occlusion. Unlike existing methods, we propose to estimate dense and intrinsic 3D appearance flow to better guide the transfer of pixels between poses. In particular, we wish to generate the 3D flow from just the reference and target poses. Training a network for this purpose is non-trivial, especially when the annotations for 3D appearance flow are scarce by nature. We address this problem through a flow synthesis stage. This is achieved by fitting a 3D model to the given pose pair and project them back to the 2D plane to compute the dense appearance flow for training. The synthesized ground-truths are then used to train a feedforward network for efficient mapping from the input and target skeleton poses to the 3D appearance flow. With the appearance flow, we perform feature warping on the input image and generate a photorealistic image of the target pose. Extensive results on DeepFashion and Market-1501 datasets demonstrate the effectiveness of our approach over existing methods. Our code is available at http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer

연구 동기 및 목표

• 테스트 시에 명시적인 3D 모델 추론 없이도 3D 기하학적 추론을 통해 큰 2D 외관 변화와 자기 음영을 다루는 데 도전한다.
• 세밀한 변형과 질감 세부 정보를 포착하지 못하는 관절 기반 표현 방식의 한계를 극복한다.
• 합성된 3D 흐름 감독을 통해 2D 자세 쌍에서 밀도 높은 내재적 3D 픽셀 대응 관계를 학습하여 고해상도 이미지 합성을 가능하게 한다.
• 자세 전이 과정에서 옷 텍스처와 얼굴 특징와 같은 세부 외관 속성을 유지한다.
• 2D 자세에서 3D 외관 흐름과 투명도 맵을 직접 추론하는 피드포워드 네트워크를 훈련시켜 빠른 추론을 달성한다.

제안 방법

• 입력 및 대상 2D 자세 쌍에 3D SMPL 모델를 피팅하여 3D 외관 흐름의 진실값을 합성하고, 3D 정점 대응 관계를 다시 2D 이미지 평면으로 투영한다.
• 2D 자세 쌍에서 밀도 높은 3D 외관 흐름과 투명도 맵을 추론하는 피드포워드 U-Net 기반의 외관 흐름 모듈을 훈련시킨다.
• 예측된 3D 외관 흐름을 사용해 입력 이미지의 특징을 워핑하며, 투명도 맵에 의해 유도되는 게이팅 메커니즘을 통해 자기 음영을 처리한다.
• 이미지 및 자세 특징를 별도로 처리한 후 융합하는 듀얼 인코더 U-Net 생성자와 특징 워핑 및 게이팅 보정을 통합한다.
• 재구성, adversarial, 그리고 인지적 손실의 조합을 사용해 전체 모델을 엔드 투 엔드로 훈련시켜 사진처럼 생생한 질감과 구조적 정밀도를 최적화한다.
• 투명도 맵을 활용해 음영 영역의 신뢰도가 낮은 특징을 억제하고 부족한 신체 부위의 환영을 향상시킨다.

실험 결과

연구 질문

• RQ1 2D 자세에서 암시적인 3D 기하학적 추론이 인간 자세 전이에서 픽셀 수준의 대응 관계 추정 정확도를 향상시키는가?
• RQ2 합성된 3D 모델 투영에서 유도된 밀도 높은 3D 외관 흐름을 학습하면 옷 텍스처와 같은 세밀한 외관 세부 정보가 더 잘 유지되는가?
• RQ3 합성된 3D 흐름 데이터로 훈련된 피드포워드 네트워크가 추론 시 3D 모델 피팅 없이도 실제 자세 전이에 일반화되는가?
• RQ4 투명도 맵이 음영을 띤 신체 부위의 합성과 전체 이미지 품질에 기여하는 방식은 어떠한가?
• RQ5 제안된 흐름 기반 워핑 메커니즘이 기존의 관절 기반 또는 局부 애핀 변환 방법보다 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 사용자 선호도 연구에서 제안된 방법은 90.53%의 승리 비율을 기록하여 최신 기술 수준의 기준 [34]보다 인지적 품질에서 뚜렷한 우월성을 보였다.
• DeepFashion 데이터셋에서, 이 방법은 FashionIS 점수 4.898과 k=20일 때 AttrRec-k 49.044를 기록하여 강력한 속성 유지 능력을 보였다.
• 제거 실험에서 픽셀 워핑 모듈을 제거하면 FashionIS가 0.308점 감소하고 AttrRec-k는 1.653점 감소하여 이 모듈이 세부 회복에 핵심적인 역할을 한다는 것을 입증했다.
• 투명도 맵이 있는 변형 대비 투명도 맵이 없는 변형에서는 k=20일 때 속성 복귀율이 2.448점 향상되어 음영 처리에서의 중요성을 확인했다.
• 기본 모델 대비 실제 이미지를 잘못 분류하는 비율은 9.55%에서 10.01%로 증가했지만, 실제 이미지를 잘못 분류하는 비율은 감소하여 더 높은 현실감을 보였다.
• 전체 모델는 최고의 SSIM (0.778)과 IS (3.338)를 기록했으며, 추론 변형 대비 구조적 및 인지적 정밀도 향상이 뚜렷했다.