[논문 리뷰] Going Deeper into Semi-supervised Person Re-identification

Olga Moskvyak, Frédéric Maire외 2명|arXiv (Cornell University)|2021. 07. 24.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 6

한 줄 요약

이 논문은 단일 CNN에서 파트 기반 임베딩의 공감 클러스터링을 사용하여, 라벨이 없는 데이터의 정체성 수에 대한 사전 지식이 필요 없이 의사 레이블을 할당하는 새로운 준지도 학습(person re-identification) 방법을 제안한다. 또한 특징의 구분 능력을 향상시키기 위해 PartMixUp 손실을 도입하여, 라벨이 부여된 정체성의 1/3만으로도 최신 기술 수준(SOTA) 성능을 달성하며, 계산 비용을 줄였다. 이는 완전히 지도 학습 모델과 동일한 정확도를 달성한다.

ABSTRACT

Person re-identification is the challenging task of identifying a person across different camera views. Training a convolutional neural network (CNN) for this task requires annotating a large dataset, and hence, it involves the time-consuming manual matching of people across cameras. To reduce the need for labeled data, we focus on a semi-supervised approach that requires only a subset of the training data to be labeled. We conduct a comprehensive survey in the area of person re-identification with limited labels. Existing works in this realm are limited in the sense that they utilize features from multiple CNNs and require the number of identities in the unlabeled data to be known. To overcome these limitations, we propose to employ part-based features from a single CNN without requiring the knowledge of the label space (i.e., the number of identities). This makes our approach more suitable for practical scenarios, and it significantly reduces the need for computational resources. We also propose a PartMixUp loss that improves the discriminative ability of learned part-based features for pseudo-labeling in semi-supervised settings. Our method outperforms the state-of-the-art results on three large-scale person re-id datasets and achieves the same level of performance as fully supervised methods with only one-third of labeled identities.

연구 동기 및 목표

• 제한된 라벨 데이터로 인한 사람 재식별 문제를 해결하기 위해.
• 실제 구현에서 비현실적인 라벨이 없는 데이터의 정체성 수를 가정할 필요를 제거하기 위해.
• 앙상블 모델이나 다중 CNN을 피함으로써 계산 비용을 줄이기 위해.
• 의미적 파트 임베딩의 공감 클러스터링을 통해 의사 레이블 품질을 향상시키기 위해.
• 새로운 PartMixUp 손실 함수를 사용하여 파트 기반 임베딩의 특징 구분 능력을 향상시키기 위해.

제안 방법

• 다중 네트워크나 복잡한 파트 검출기 없이도, 단일 CNN을 사용해 이미지에서 파트 기반 임베딩을 추출한다.
• 의미적 파트(예: 수평 줄무늬) 간의 공감 클러스터링을 적용하여, 정체성 수를 가정하지 않고도 의사 레이블을 할당한다.
• 다른 정체성의 의미적 파트 임베딩을 혼합하여 학습 중 하드 네거티브 샘플을 생성하는 PartMixUp 손실을 사용한다.
• 입력 이미지 수준이 아니라 임베딩 수준에서 혼합을 수행함으로써, 라벨이 부여된 데이터와 라벨이 없는 데이터 모두에 적용 가능하다.
• 데이터 누출을 방지하고 유효한 음성 쌍을 확보하기 위해 혼합에 서로 다른 정체성의 데이터를 사용한다.
• 사전 정의된 클러스터 수가 필요 없도록, 동적 클러스터 수 추정 기능을 갖춘 적응형 클러스터링을 적용한다.

실험 결과

연구 질문

• RQ1 정체성 수를 가정하지 않고도, 파트 기반 임베딩의 공감 클러스터링이 준지도 학습 사람 재식별에서 의사 레이블링을 향상시킬 수 있는가?
• RQ2 제안된 PartMixUp 손실은 파트 기반 임베딩의 특징 구분 능력을 향상시키는 데 트리플릿 손실보다 우수한가?
• RQ3 단일 CNN과 파트 기반 특징, 공감 클러스터링을 사용한 방법이, 저라벨 데이터 환경에서 다중 CNN 또는 앙상블 기반 접근법을 능가할 수 있는가?
• RQ4 공감 클러스터링에서 협의 임계값을 다양하게 설정했을 때, 클러스터링 품질과 재식별 정확도에 어떤 영향을 미치는가?
• RQ5 이 방법은 다양한 데이터셋과 라벨 비율(특히 라벨이 1/3인 경우)에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 라벨이 부여된 정체성의 1/3만으로도 Market-1501에서 91.5%의 랭크-1 정확도를 달성하여, 완전히 지도 학습 모델과 동일한 성능을 보였다.
• 파트 임베딩의 공감 클러스터링은 랜드 인덱스 0.85를 기록하여, 연결(0.82)과 개별 파트 클러스터링(0.79–0.80)을 모두 능가했다.
• 공감 클러스터링에서 100% 일치(모든 6개 파트가 일치)할 경우 성능이 가장 우수했으며, 4/6 일치일 경우 정확도가 87.5%로 떨어지고, 3/6 일치일 경우 81.9%로 감소했다.
• PartMixUp 손실은 완전히 지도 학습 설정에서 PCB 모델의 mAP를 77.4%에서 78.2%로 향상시켰고, 준지도 학습 설정에서는 Market-1501에서 76.2%에서 76.7%로 상승시켰다.
• 적응형 클러스터링은 애니피티 프로파게이션과 DBSCAN보다 우수했으며, Market-1501(1/3 라벨)에서 랭크-1 88.1%와 mAP 72.6%를 기록했다. 반면 DBSCAN은 의미 있는 클러스터를 탐지하지 못했다.
• 이 방법은 어떤 CNN 백본과도 호환되며, 다중 네트워크 앙상블 대비 상당한 계산 비용 절감 효과를 보였다.