[논문 리뷰] FD-GAN: Pose-guided Feature Distilling GAN for Robust Person Re-identification

Yixiao Ge, Zhuowan Li외 5명|arXiv (Cornell University)|2018. 10. 06.

Video Surveillance and Tracking Methods인용 수 283

한 줄 요약

FD-GAN은 시암 GAN 프레임워크를 통해 정체성 관련 특징과 자세에 의존하지 않는 특징을 학습하며 자세 가이드 생성과 같은 자세 일관성 제약을 통해 테스트 시 추가 자세 입력 없이도 최첨단 reID 성능을 달성한다.

ABSTRACT

Person re-identification (reID) is an important task that requires to retrieve a person's images from an image dataset, given one image of the person of interest. For learning robust person features, the pose variation of person images is one of the key challenges. Existing works targeting the problem either perform human alignment, or learn human-region-based representations. Extra pose information and computational cost is generally required for inference. To solve this issue, a Feature Distilling Generative Adversarial Network (FD-GAN) is proposed for learning identity-related and pose-unrelated representations. It is a novel framework based on a Siamese structure with multiple novel discriminators on human poses and identities. In addition to the discriminators, a novel same-pose loss is also integrated, which requires appearance of a same person's generated images to be similar. After learning pose-unrelated person features with pose guidance, no auxiliary pose information and additional computational cost is required during testing. Our proposed FD-GAN achieves state-of-the-art performance on three person reID datasets, which demonstrates that the effectiveness and robust feature distilling capability of the proposed FD-GAN.

연구 동기 및 목표

• 테스트 시 보조 자세 정보에 의존하지 않고 자세 변화에서 강인한 사람 재식별을 동기 부여한다.
• 정체성과 관련된 특징을 증류하는 동시에 자세와 무관한 정보를 제거하는 프레임워크를 개발한다.
• 자세 가이드 생성과 판별기를 도입하여 시암 구조에서 특징 학습을 규제한다.

제안 방법

• 각 브랜치당 이미지 인코더 E와 이미지 생성기 G를 갖춘 시암 네트워크를 사용한다.
• G를 대상 자세 맵과 인코딩된 정체성 특징으로 조건화하여 새로운 포즈에서도 같은 정체성의 이미지를 합성한다.
• 정체성 판별기 D_id와 자세 판별기 D_pd를 활용하여 생성된 이미지가 정체성을 보존하고 목표 자세와 일치하도록 규제한다.
• 같은 자세 손실(same-pose loss)을 도입하여 같은 정체성의 두 가지 브랜치에서 생성된 이미지가 같은 자세에서 시각적으로 유사하도록 한다.
• 생성기 학습을 안정시키기 위한 재구성 손실(reconstruction loss)과 정체성 감독을 위한 검증 분류기 V를 도입한다.
• 재ID 기본 사전 학습, 판별기를 활용한 FD-GAN 예비 학습, 글로벌 엔드투엔드 미세조정의 세 단계로 학습한다.

실험 결과

연구 질문

• RQ1 테스트 시 자세 데이터에 의존하지 않고 자세 변형이 재ID 특징에서 완화될 수 있는가?
• RQ2 정체성 및 자세 판별기를 통한 적대적 규제가 자세에 무관한 정체성 특징을 효과적으로 증류하는가?
• RQ3 같은 자세 제약이 자세 변화에 대한 강인성을 향상시키고 정체성 구분에 해를 끼치지 않는가?

주요 결과

Method	Market-1501 mAP	Market-1501 top-1	CUHK03 mAP	CUHK03 top-1	DukeMTMC-reID mAP	DukeMTMC-reID top-1
FD-GAN	77.7	90.5	91.3	92.6	64.5	80.0
Baseline Siamese	72.5	88.2	-	78.2	61.3	-

• FD-GAN은 Market-1501에서 top-1 90.5%, mAP 77.7%, CUHK03에서 top-1 92.6%, mAP 91.3%, DukeMTMC-reID에서 top-1 80.0%, mAP 64.5%로 최첨단을 달성한다.
• 시암 베이스라인은 단일 브랜치 베이스라인보다 상당히 뛰어나 교차 브랜치 검증의 혜택을 입증한다.
• 구성 요소를 제거(예: 자세 증강, D_id, D_pd, 같은 자세 손실, 검증 손실)하면 성능이 저하되어 각 구성 요소의 기여를 확인할 수 있다.
• E와 D_id 간 가중치를 공유하지 않는 것이 더 나은 성능을 보이며, 작업별 특징 학습이 유리함을 시사한다.
• FD-GAN으로 생성된 이미지는 일부 전용 인물 생성 방법보다 품질이 높으며 정체성을 보존하는 자세 전이가 효과적임을 반영한다.