[논문 리뷰] Rethinking Person Re-identification from a Projection-on-Prototypes Perspective

Qizao Wang, Xuelin Qian외 3명|arXiv (Cornell University)|2023. 08. 21.

Video Surveillance and Tracking MethodsComputer Science인용 수 3

한 줄 요약

이 논문은 ProNet을 제안하며, 추론 시 분류기를 유지함으로써 클래스 프로토타입으로서의 가중치를 활용하는 새로운 인물 재식별 기반 모델이다. 특징을 이러한 프로토타입에 투영하고, 투영된 공간에서 삼중체 손실과 정체성 분류 손실을 모두 적용함으로써, 분류기를 버리는 전통적인 방법에 비해 성능 향상을 크게 달성한다. ProNet++는 여러 벤치마크에서 트랜스포머 기반 모델을 능가한다.

ABSTRACT

Person Re-IDentification (Re-ID) as a retrieval task, has achieved tremendous development over the past decade. Existing state-of-the-art methods follow an analogous framework to first extract features from the input images and then categorize them with a classifier. However, since there is no identity overlap between training and testing sets, the classifier is often discarded during inference. Only the extracted features are used for person retrieval via distance metrics. In this paper, we rethink the role of the classifier in person Re-ID, and advocate a new perspective to conceive the classifier as a projection from image features to class prototypes. These prototypes are exactly the learned parameters of the classifier. In this light, we describe the identity of input images as similarities to all prototypes, which are then utilized as more discriminative features to perform person Re-ID. We thereby propose a new baseline ProNet, which innovatively reserves the function of the classifier at the inference stage. To facilitate the learning of class prototypes, both triplet loss and identity classification loss are applied to features that undergo the projection by the classifier. An improved version of ProNet++ is presented by further incorporating multi-granularity designs. Experiments on four benchmarks demonstrate that our proposed ProNet is simple yet effective, and significantly beats previous baselines. ProNet++ also achieves competitive or even better results than transformer-based competitors.

연구 동기 및 목표

• 인물 Re-ID에서 훈련과 추론 간 격차를 해소하기 위해, 정체성 지식을 담고 있음에도 불구하고 분류기가 버려지는 문제를 해결한다.
• 분류기를 이미지 특징에서 클래스 프로토타입으로의 투영 기반으로 재정의하여 개선된 정체성 표현을 가능하게 한다.
• 추론 시 분류기를 유지함으로써 특징의 구분 능력과 검색 성능이 향상됨을 입증한다.
• 복잡한 아키텍처나 보조 데이터 없이도 기존 방법을 능가하는 단순하면서도 효과적인 기반 모델을 구축한다.

제안 방법

• 학습된 분류기 가중치를 클래스 프로토타입으로 해석하여, 이미지 특징에서 프로토타입 공간으로의 특징 투영을 가능하게 한다.
• 이미지 특징이 이러한 프로토타입에 투영되고, 모든 프로토타입과의 유사도가 새로운 더 구분 능력이 뛰어난 표현으로 형성되어 Re-ID에 활용된다.
• 투영된 특징에 삼중체 손실과 정체성 분류 손실을 적용하여 프로토타입과 그들의 구분 능력을 동시에 최적화한다.
• 이 방법은 단일 완전 연결층을 분류기로 사용하는 ResNet-50 백본에 통합되어 ProNet 기반 모델을 형성한다.
• 향상된 버전인 ProNet++는 PCB에서 영감을 얻은 다중 해상도 특징 학습을 통합하여 성능을 추가로 향상시킨다.
• 이 프레임워크는 프로토타입 투영 특징에 대해 메트릭 학습과 분류 감독을 동시에 적용한 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 추론 시 분류기를 유지함으로써 학습된 클래스 프로토타입을 활용하면 인물 재식별 성능이 향상될 수 있는가?
• RQ2 클래스 프로토타입에 특징를 투영하는 것이 표준 특징 추출 방식에 비해 구분 능력 향상에 어떻게 기여하는가?
• RQ3 분류기 유지 기반의 단순한 모델이 트랜스포머 기반 모델을 포함한 복잡한 아키텍처를 능가할 수 있는가?
• RQ4 원시 특징이 아닌 투영된 특징에 삼중체 손실과 분류 손실을 적용할 경우 어떤 영향을 미치는가?

주요 결과

• 기존의 추론 시 분류기를 버리는 전통적 기반 모델에 비해 ProNet은 Market-1501에서 +2.6% mAP 향상, CUHK03에서는 +13.5% mAP 향상을 달성한다.
• 클래스 프로토타입에 투영된 특징 공간은 t-SNE 시각화를 통해 상당히 높은 내부 클래스의 응집성과 외부 클래스 간의 분리도를 보이며, 우수한 성능을 입증한다.
• 상위 10개 검색 결과에서는 ProNet++가 뷰포인트나 자세 변화가 큰 어려운 샘플을 더 정확히 검색하며, 유사한 외관을 가졌지만 다른 정체성의 샘플들에 대한 오소거부(false positives)를 줄였다.
• ProNet++는 주목할 만한 주의 메커니즘 없이도, 복잡한 아키텍처를 가진 최신 트랜스포머 기반 모델인 TransReID와 경쟁하거나 그에 뒤지지 않는 성능을 기록했다.
• 투영된 특징에 삼중체 손실과 분류 손실을 함께 적용함으로써 더 효과적이고 강건한 클래스 프로토타입이 도출되어 일반화 능력과 구분 능력이 향상된다.