[논문 리뷰] Unsupervised Person Image Synthesis in Arbitrary Poses

Albert Pumarola, Antonio Agudo외 2명|arXiv (Cornell University)|2018. 09. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 17

한 줄 요약

이 논문은 단일 입력 이미지와 2D 자세 스케letal을 기반으로 하여 임의의 자세에서 사진처럼 생긴 인체 이미지를 완전히 비지도 학습 방식으로 합성하는 GAN 기반 프레임워크를 제안한다. 콘텐츠 및 스타일 인지 기반의 이중 방향 순환 일致성 손실을 활용함으로써, 짝지어진 학습 데이터가 필요 없이도 고해상도의 이미지를 생성하며, DeepFashion 데이터셋에서 지도 학습 방법과 비교할 만한 성능을 달성한다.

ABSTRACT

We present a novel approach for synthesizing photo-realistic images of people in arbitrary poses using generative adversarial learning. Given an input image of a person and a desired pose represented by a 2D skeleton, our model renders the image of the same person under the new pose, synthesizing novel views of the parts visible in the input image and hallucinating those that are not seen. This problem has recently been addressed in a supervised manner, i.e., during training the ground truth images under the new poses are given to the network. We go beyond these approaches by proposing a fully unsupervised strategy. We tackle this challenging scenario by splitting the problem into two principal subtasks. First, we consider a pose conditioned bidirectional generator that maps back the initially rendered image to the original pose, hence being directly comparable to the input image without the need to resort to any training image. Second, we devise a novel loss function that incorporates content and style terms, and aims at producing images of high perceptual quality. Extensive experiments conducted on the DeepFashion dataset demonstrate that the images rendered by our model are very close in appearance to those obtained by fully supervised approaches.

연구 동기 및 목표

• 짝지어진 학습 데이터가 필요 없이 단일 이미지에서 새로운 자세로 현실적인 인체 이미지를 생성하는 문제에 대응하기 위해.
• 지도 학습 데이터가 아닌, 레이블이 없는 이미지와 자세 스켈레탈만을 사용하여 GAN 모델을 훈련시킴으로써 지도 학습 데이터의 필요성을 제거하기 위해.
• 자세 변화가 이루어져도 신원, 텍스처, 스타일을 유지하면서 가려진 신체 부위를 환기시키기 위해.
• 생성된 이미지의 인지 품질과 의미 일관성을 보장하기 위한 새로운 손실 함수를 개발하기 위해.
• 비지도 학습이 완전히 지도 학습 기반 최신 기술 수준의 방법과 유사한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 모델은 자세 조건 기반의 이중 방향 생성자로 구성되며, 먼저 입력 자세에서 목표 자세로 이미지를 렌더링한 후, 다시 원래 자세로 돌아오는 순환 일치성을 확보한다.
• 콘텐츠 손실, 스타일 손실, 신원 유지 손실을 조합한 새로운 손실 함수를 통해 인지 품질과 의미 정확성을 보장한다.
• 모델은 정방향 및 역방향 생성 경로에 모두 적대적 손실을 적용하여 현실감 있는 이미지를 강제로 만든다.
• 콘텐츠 및 스타일에 대한 인지 손실을 계산하기 위해 사전 훈련된 VGG 네트워크의 특징 맵을 사용한다.
• 신원 손실은 자세 변환 과정에서 사람의 정체성을 유지하기 위해 특별히 설계되었으며, 표준 L1 손실을 대체한다.
• 모델은 짝지어진 진짜 이미지가 필요 없이 단일 이미지와 자세 스켈레탈만을 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 짝지어진 학습 이미지가 필요 없이 GAN 기반 모델이 임의의 자세에서 고품질의 사진처럼 생긴 인체 이미지를 생성할 수 있는가?
• RQ2 어떻게 순환 일치성과 인지 손실을 조합하여 큰 자세 변화 상황에서도 신원과 외관을 유지할 수 있는가?
• RQ3 비지도 모델이 지도 학습 기반 최신 기술 수준의 접근 방식과 얼마나 유사한 성능을 달성할 수 있는가?
• RQ4 비지도 인체 이미지 합성의 실패 유형은 무엇이며, 이는 텍스처 매핑과 기하학적 일관성과 어떤 관련이 있는가?
• RQ5 배경이 복잡한 이미지에 대해서도, 배경이 없는 데이터로 훈련된 모델이 일반화 가능한가?

주요 결과

• 제안된 비지도 모델은 DeepFashion 데이터셋에서 완전히 지도 학습 기반 최신 기술 수준의 방법과 비교할 만한 이미지 품질을 달성한다.
• 입력 자세와 목표 자세가 극적으로 다를 경우에도 모델은 현실적인 이미지를 성공적으로 합성하며, 특히 가려진 사지의 전면적 환기까지 가능하다.
• 신원 손실을 표준 L1 손실로 대체할 경우 심각한 신원 붕괴가 발생하여 생성된 이미지가 일반적인 '평균' 사람으로 수렴함을 확인하여, 신원 손실의 핵심적 역할을 입증한다.
• 모델은 배경이 있는 이미지에 대해서도 합리적으로 일반화되며, 일관된 신체 형태와 텍스처를 생성하지만, 배경에 특화된 지도 학습이 없어 배경이 과도하게 부드러워지는 경향이 있다.
• 절단 실험을 통해 콘텐츠, 스타일, 신원, 순환 일치성 손실 각각이 고해상도 생성에 필수적임을 확인한다.
• 실패 사례로는 텍스처 오차정렬(예: 바지가 다리에 매핑됨), 완전한 얼굴 렌더링 부족, 기하학적 자세 오류, 신체 부위 텍스처 이동 등이 있으며, 이는 자가 가림과 형태 일관성 문제를 드러낸다.