[논문 리뷰] Cross-Dataset Person Re-Identification via Unsupervised Pose Disentanglement and Adaptation

Yu-Jhe Li, Ci-Siang Lin외 2명|arXiv (Cornell University)|2019. 09. 20.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 29

한 줄 요약

이 논문은 통합 생성 적대적 네트워크를 사용하여 딥 이미지 표현 내의 자세와 도메인 요소를 분리하는 새로운 비지도 교차도메인 인물 재식별 프레임워크인 PDA-Net을 제안한다. 재구성, 자세, 도메인 및 MMD 손실을 통해 함께 학습함으로써 도메인 불변성과 자세 분리 특징을 얻어내어, 정체성 또는 자세 카테고리 감독 없이도 자세 유도 이미지 변환과 복구를 가능하게 하며, Market-1501과 DukeMTMC-reID에서 SOTA 성능을 달성하여 Rank-1 정확도가 20–25% 향상되었다.

ABSTRACT

Person re-identification (re-ID) aims at recognizing the same person from images taken across different cameras. To address this challenging task, existing re-ID models typically rely on a large amount of labeled training data, which is not practical for real-world applications. To alleviate this limitation, researchers now targets at cross-dataset re-ID which focuses on generalizing the discriminative ability to the unlabeled target domain when given a labeled source domain dataset. To achieve this goal, our proposed Pose Disentanglement and Adaptation Network (PDA-Net) aims at learning deep image representation with pose and domain information properly disentangled. With the learned cross-domain pose invariant feature space, our proposed PDA-Net is able to perform pose disentanglement across domains without supervision in identities, and the resulting features can be applied to cross-dataset re-ID. Both of our qualitative and quantitative results on two benchmark datasets confirm the effectiveness of our approach and its superiority over the state-of-the-art cross-dataset Re-ID approaches.

연구 동기 및 목표

• 목적 도메인 데이터에 정체성 레이블이 없는 교차도메인 인물 재식별 문제에 대응한다.
• 기존 방법들이 스타일 전이에만 집중하거나 도메인 간 자세 정보를 유지하지 못하는 한계를 극복한다.
• 목적 도메인에서 정의된 자세 카테고리나 정체성 감독 없이도 자세와 도메인 요소의 분리된 표현을 학습한다.
• 이미지와 자세 입력만으로도 단일 도메인 이미지 복구 및 교차 도메인 이미지 변환을 가능하게 한다.
• 도메인 불변성과 자세 불변성 특징을 함께 최적화하여 비지도 재식별에서 일반화 능력과 분류 능력을 향상시킨다.

제안 방법

• 통합 생성 적대적 네트워크(PDA-Net)를 제안하여 도메인 불변성과 자세 분리 표현을 함께 학습한다.
• 이미지 수준의 세부 정보를 이미지 변환 중에 유지하기 위해 재구성 손실을 사용한다.
• 원천 도메인과 목적 도메인 간 일관된 자세 표현을 강제하기 위해 공유 자세 판별기(Shared Pose Discriminator)를 도입한다.
• 생성된 이미지에 분리된 자세 특징이 유지되도록 보장하기 위해 자세 손실을 적용한다.
• 도메인 특유의 특징을 유지하면서 도메인 불변 특징 학습을 가능하게 하기 위해 도메인 손실을 활용한다.
• 특징 공간에서 원천 도메인과 목적 도메인 간 도메인 이동을 최소화하기 위해 MMD 손실을 활용한다.

실험 결과

연구 질문

• RQ1 정체성 또는 자세 카테고리 감독 없이도 자세 유도 이미지 변환이 도메인 간 효과적으로 수행될 수 있는가?
• RQ2 자세와 도메인 요소를 분리함으로써 비지도 교차도메인 인물 재식별에서 일반화 능력이 향상되는가?
• RQ3 재구성, 자세, 도메인 및 MMD 손실을 함께 최적화하면 재식별 성능에 어떤 영향을 미치는가?
• RQ4 공유 자세 판별기가 교차 도메인 자세 분리에서 별도의 판별기보다 우수한 성능을 내는가?
• RQ5 제안된 방법은 자세와 콘텐츠 정보를 유지하면서 도메인 이동을 어느 정도 감소시키는가?

주요 결과

• PDA-Net은 이전의 비지도 교차도메인 재식별 방법 대비 Market-1501과 DukeMTMC-reID에서 각각 20–25%의 상대적 Rank-1 정확도 향상을 달성한다.
• 재구성 손실을 제거할 경우 Market-1501에서 23%의 Rank-1 성능 저하와 DukeMTMC-reID에서 20%의 성능 저하가 발생하여, 이미지 품질 유지에 있어 그 핵심적인 역할을 확인한다.
• 자세 손실을 제거하면 두 데이터셋에서 모두 20%의 성능 저하가 발생하여, 효과적인 자세 분리에 필수적임을 입증한다.
• 도메인 손실은 상당한 기여를 하며, 비활성화 시 10%의 성능 저하가 발생하여 적절한 특징 분리 유지에 기여하는 바를 보여준다.
• MMD 손실은 도메인 이동을 효과적으로 감소시키며, 이를 제거할 경우 명백한 성능 저하가 발생하여 도메인 정렬에 기여하는 바를 검증한다.
• 정성적 결과에서는 PDA-Net이 고해상도의 자세 제어 이미지를 도메인 간 효과적으로 생성함을 보여주며, 스타일 전이 및 자세 분리 측면에서 SPGAN과 FD-GAN을 모두 능가한다.