[논문 리뷰] Pose Invariant Person Re-Identification using Robust Pose-transformation GAN

Arnab Karmakar, Deepak Mishra|arXiv (Cornell University)|2021. 04. 11.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 강력한 자세 변환 GAN(이하 pt-GAN)을 사용하여 다양한 자세로 사람의 이미지를 생성하고, 자세 클러스터링 및 특징 융합을 결합하여 시점에 강인한 특징을 학습하는 자세 간 인식 불변(person re-identification) 프레임워크를 제안한다. 이 방법은 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 기존의 GAN 기반 및 비-GAN 모델보다 정확도와 기준 모델 대비 향상도에서 뛰어난 성능을 보였다.

ABSTRACT

The objective of person re-identification (re-ID) is to retrieve a person's images from an image gallery, given a single instance of the person of interest. Despite several advancements, learning discriminative identity-sensitive and viewpoint invariant features for robust Person Re-identification is a major challenge owing to the large pose variation of humans. This paper proposes a re-ID pipeline that utilizes the image generation capability of Generative Adversarial Networks combined with pose clustering and feature fusion to achieve pose invariant feature learning. The objective is to model a given person under different viewpoints and large pose changes and extract the most discriminative features from all the appearances. The pose transformational GAN (pt-GAN) module is trained to generate a person's image in any given pose. In order to identify the most significant poses for discriminative feature extraction, a Pose Clustering module is proposed. The given instance of the person is modelled in varying poses and these features are effectively combined through the Feature Fusion Network. The final re-ID model consisting of these 3 sub-blocks, alleviates the pose dependence in person re-ID. Also, The proposed model is robust to occlusion, scale, rotation and illumination, providing a framework for viewpoint invariant feature learning. The proposed method outperforms the state-of-the-art GAN based models in 4 benchmark datasets. It also surpasses the state-of-the-art models that report higher re-ID accuracy in terms of improvement over baseline.

연구 동기 및 목표

• 큰 자세 변동이 인식 특징의 구별 능력과 모델 정확도를 저하시키는 주요 과제를 해결한다.
• 자세 변환을 통한 GAN 기반 데이터 증강을 활용하여 소규모 데이터셋에서의 딥 러닝 모델의 한계를 극복한다.
• 단일 쿼리 이미지에서 시점에 강인한 특징을 학습하는 강력하고 종단 간(end-to-end) 학습 가능한 파이프라인을 개발한다.
• 오염, 조명 변화, 척도 변화, 회전과 같은 실제 환경 조건에서의 일반화 능력을 향상시킨다.
• 자세 생성, 클러스터링, 특징 융합을 융합하여 최신 기술 수준의 모델보다 뛰어난 성능을 달성한다.

제안 방법

• 재인식 데이터셋에서의 토닝을 통해 개선된 손실 함수를 사용하여, 단일 입력 이미지에서 원하는 자세로 사람의 이미지를 생성하는 자세 변환 GAN(이하 pt-GAN)을 훈련한다.
• 중복을 줄이고 구별 능력이 높은 대표성 있는 자세를 식별하기 위해 비지도 자세 클러스터링 모듈을 구현한다.
• 공유 백본 네트워크를 사용하여 원본 쿼리 이미지 및 모든 생성된 자세 변형 이미지에서 깊은 특징을 추출한다.
• 학습 가능한 특징 융합 네트워크(FusionNet)를 사용하여 추출된 특징을 융합하여 단일한 강력한 시점 불변 특징 벡터를 생성한다.
• 융합된 특징 벡터를 사용하여 갤러리 세트에서 유사도 기반 검색을 수행하여 자세 간 불변 매칭을 가능하게 한다.
• GAN 프레임워크 내에서 데이터 증강과 CNN 기반 특징 학습을 통합하여 오염, 척도, 조명 변화에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 자세 변환이 단일 사람 이미지에서 다양한 현실적인 자세를 효과적으로 생성하여 인식 특징의 강인성을 향상시킬 수 있는가?
• RQ2 비지도 자세 클러스터링은 특징 추출을 위해 가장 구별 능력 있는 자세를 어떻게 식별하여 중복을 최소화하고 구별 능력을 극대화할 수 있는가?
• RQ3 다양한 자세 변형 이미지 간의 특징 융합이 시점 불변성과 재인식 정확도에 얼마나 기여하는가?
• RQ4 제안된 종단 간 프레임워크는 절대 정확도 및 기준 모델 대비 향상도 측면에서 최신 기술 수준의 모델을 초월할 수 있는가?
• RQ5 오염, 조명 변화, 척도 변화, 검출 오류 등의 실제 도전 과제에 대해 모델은 얼마나 강인한가?

주요 결과

• 제안된 방법은 Market-1501에서 73.2%의 Rank-1 정확도, DukeMTMC-reID에서 74.48%, CUHK03에서 83.3%를 기록하여 최신 기술 수준의 GAN 기반 모델을 초월한다.
• 재랭킹을 통한 성능 향상으로 Market-1501에서 73.95%, DukeMTMC-reID에서 93.04%, CUHK03에서 96.97%를 기록하여 강력한 검색 성능을 입증한다.
• Market-1501에서 기준 ResNet50-1 대비 9.64% 향상되었고, DukeMTMC-reID에서는 12.80% 향상되어 더 높은 정확도를 가진 모델들보다 상대적 향상도에서 뛰어난 성능을 보였다.
• pt-GAN 모델은 오염된 영역을 성공적으로 재구성하고, 다양한 자세 간에도 신원 일관성을 유지하여 오염 및 검출 오류에 대한 강력한 강인성을 보였다.
• 자세, 조명, 회전 변화 조건 하에서 내부 클래스 특징 거리는 외부 클래스 거리보다 유의미하게 낮게 유지되어, 모델의 불변성 특성을 확인하였다.
• 정성적 결과에서는 특히 도전적인 자세 및 오염 상황에서 기준 모델보다 더 정확하게 정답 신원을 검색하는 것으로 나타났다.