[논문 리뷰] Disentangled Person Image Generation

Liqian Ma, Qianru Sun외 4명|arXiv (Cornell University)|2017. 12. 07.

Video Surveillance and Tracking Methods참고 문헌 40인용 수 21

한 줄 요약

이 논문은 전경, 배경, 자세를 분리된 표현으로 학습하는 다중다지선로 재구성 네트워크를 통해 전경, 배경, 자세의 독립적 표현을 학습한 후 노이즈에서 임베딩으로의 상호작용을 적대적으로 학습하는 두 단계 생성 프레임워크를 제안한다. 이 방법은 제어 가능한 이미지 생성과 변형을 가능하게 하며, 합성 데이터를 사용하여 사람 재식별에서 최신 기준 성능을 달성한다.

ABSTRACT

Generating novel, yet realistic, images of persons is a challenging task due to the complex interplay between the different image factors, such as the foreground, background and pose information. In this work, we aim at generating such images based on a novel, two-stage reconstruction pipeline that learns a disentangled representation of the aforementioned image factors and generates novel person images at the same time. First, a multi-branched reconstruction network is proposed to disentangle and encode the three factors into embedding features, which are then combined to re-compose the input image itself. Second, three corresponding mapping functions are learned in an adversarial manner in order to map Gaussian noise to the learned embedding feature space, for each factor respectively. Using the proposed framework, we can manipulate the foreground, background and pose of the input image, and also sample new embedding features to generate such targeted manipulations, that provide more control over the generation process. Experiments on Market-1501 and Deepfashion datasets show that our model does not only generate realistic person images with new foregrounds, backgrounds and poses, but also manipulates the generated factors and interpolates the in-between states. Another set of experiments on Market-1501 shows that our model can also be beneficial for the person re-identification task.

연구 동기 및 목표

• 전경, 배경, 자세와 같은 이미지 요소를 명시적으로 분리하여 현실적인 사람 이미지의 제어 가능한 생성을 가능하게 하기.
• 각 분리된 요소에 대해 조작 가능한 임베딩 특징을 학습하는 두 단계 프레임워크 개발하기.
• 가우시안 노이즈를 학습된 임베딩 공간으로 매핑하여 고품질이고 다양한 사람 이미지를 생성함으로써 새로운 조합의 샘플링을 가능하게 하기.
• 분리된 표현을 사람 재식별에 평가하여 그 분류 능력을 입증하기.
• 사람에 대한 수동 레이블이 필요한 데이터에 의존도를 줄이기 위해 분리된 생성을 이용해 합성 가상 마켓 데이터셋(VM)을 구축하기.

제안 방법

• 다중다지선로 재구성 네트워크는 입력된 사람 이미지를 전경, 배경, 자세에 대한 분리된 임베딩 특징으로 인코딩하고, 이러한 특징들로부터 원본 이미지를 재구성한다.
• 제2단계에서는 각 요소에 대해 표준 가우시안 노이즈를 학습된 임베딩 특징 분포로 매핑하는 세 개의 별도 매핑 함수를 적대적으로 학습한다.
• 생성기는 제1단계에서 얻은 사전 학습된 인코더와 디코더를 기반으로 하여 생성된 이미지의 일관성과 현실감을 확보한다.
• 실제 임베딩 특징(입력 이미지에서 유도됨)과 노이즈에서 유도된 가짜 특징의 분포를 일치시키기 위해 적대적 학습을 적용한다.
• 학습된 임베딩 공간에서 샘플링을 통해 요소들을 독립적 또는 동시로 조작할 수 있다.
• 가상의 Market-1501 데이터셋(VM)은 전경 특징를 고정하고 배경 및 자세 특징를 변화시켜 합성 학습 쌍을 생성함으로써 구축된다.

실험 결과

연구 질문

• RQ1 전경, 배경, 자세의 분리된 표현이 제어 가능한 사람 이미지 생성을 가능하게 할 수 있는가?
• RQ2 노이즈에서 임베딩으로의 상호작용을 위한 적대적 학습이 현실적이고 다양한 사람 이미지를 생성할 수 있는가?
• RQ3 분리된 임베딩 특징는 사람 재식별 성능 향상에 활용될 수 있는가?
• RQ4 분리된 조작을 통해 생성된 합성 이미지 쌍은 재식별 모델의 효과적인 학습 데이터로 기능할 수 있는가?
• RQ5 기존의 비지도 학습 또는 수작업으로 구성된 특징 추출기와 비교해 분리된 특징의 품질은 재식별 작업에서 어떻게 평가되는가?

주요 결과

• 모델은 BodyROI7 특징 추출기만을 사용하여 Market-1501 데이터셋에서 최신 기준 성능을 달성하였으며, 순위 1 정확도는 0.338, mAP는 0.107을 기록하였다.
• PCA를 사용해 특징 차원을 감소시켰을 때 모델의 순위 1 정확도는 0.355로 상승하였으며, WholeBody 모델을 초월하고 감독 기반 기준 모델에 근접하였다.
• 분리된 샘플링을 통해 생성된 가상의 Market(VM) 데이터셋은 순위 1 정확도 0.338을 기록하였으며, 인간 레이블이 필요한 DukeReID 데이터셋을 학습한 모델와 유사한 성능을 보였다.
• 진행적 비지도 학습(PUL)을 적용한 VM 데이터셋 기반 모델은 순위 1 정확도 0.369를 달성하여 CUHK03 및 DukeReID 데이터셋 기반 모델의 성능을 초월하였다.
• VM 데이터셋을 사용해 KISSME 지표를 적용한 결과, 순위 1 정확도는 0.375를 기록하였으며, 이는 합성 데이터가 실제 레이블이 부여된 데이터의 성능을 따라하거나 초월할 수 있음을 보여주었다.
• 분리된 특징는 생성 기능 외에도 분류 능력이 뛰어나 사람 재식별 작업에서 뛰어난 성능을 보임으로써, 생성적일 뿐 아니라 분류적으로도 유효함을 입증하였다.