[논문 리뷰] Semantics-Guided Clustering with Deep Progressive Learning for Semi-Supervised Person Re-identification

Chih‐Ting Liu, Yu-Jhe Li외 2명|arXiv (Cornell University)|2020. 10. 02.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 8

한 줄 요약

이 논문은 라벨이 부여된 데이터가 라벨이 없는 데이터의 의사 레이블링을 지능적으로 이끌어내는 의미론적 인식 능력을 갖춘 유사도 전파(SG-AP) 방법을 활용하여 클러스터 수나 라벨 데이터 비율에 대한 사전 지식이 없이 점진적이고 반복적인 정교화를 가능하게 하는 새로운 준지도 학습(person re-identification) 프레임워크인 의미론적 가이드 클러스터링 및 딥 프로그레시브 러닝(SGC-DPL)을 제안한다. 이 방법은 Market-1501과 DukeMTMC-re-ID에서 최신 기준 성능을 달성하여 1/3의 지도 학습 수준에서도 82.2%의 랭크-1 정확도를 기록하며, 완전히 지도 학습된 성능에 가까운 결과를 보였다.

ABSTRACT

Person re-identification (re-ID) requires one to match images of the same person across camera views. As a more challenging task, semi-supervised re-ID tackles the problem that only a number of identities in training data are fully labeled, while the remaining are unlabeled. Assuming that such labeled and unlabeled training data share disjoint identity labels, we propose a novel framework of Semantics-Guided Clustering with Deep Progressive Learning (SGC-DPL) to jointly exploit the above data. By advancing the proposed Semantics-Guided Affinity Propagation (SG-AP), we are able to assign pseudo-labels to selected unlabeled data in a progressive fashion, under the semantics guidance from the labeled ones. As a result, our approach is able to augment the labeled training data in the semi-supervised setting. Our experiments on two large-scale person re-ID benchmarks demonstrate the superiority of our SGC-DPL over state-of-the-art methods across different degrees of supervision. In extension, the generalization ability of our SGC-DPL is also verified in other tasks like vehicle re-ID or image retrieval with the semi-supervised setting.

연구 동기 및 목표

• 라벨이 부여된 인물과 라벨이 없는 인물이 완전히 분리된 실용적이지만 도전적인 준지도 학습 person re-identification 설정을 해결하기 위해.
• 기존 방법들이 클러스터 수(K) 또는 의사 레이블 할당을 위한 히우리스틱 임계치를 사전에 알 필요가 있다는 한계를 극복하기 위해.
• 라벨이 부여된 데이터로부터 의미론적 가이드를 얻어 신뢰할 수 있는 라벨이 없는 샘플을 동적으로 선택하는 프로그레시브 러닝 전략을 개발하기 위해.
• 라벨이 부여된 데이터에서 온 피드백을 통해 의사 레이블링과 클러스터링을 반복적으로 정교화시켜 모델의 일반화 능력과 성능을 향상시키기 위해.
• 이 방법이 person re-identification을 넘어서 차량 re-identification 및 세분화 이미지 검색과 같은 관련 작업들에서도 준지도 설정 하에서 효과적임을 입증하기 위해.

제안 방법

• 클러스터 수에 대한 사전 지식이 필요 없이 라벨이 부여된 데이터를 활용해 라벨이 없는 데이터의 클러스터링을 지도하는 의미론적 가이드 클러스터링 방법인 의미론적 가이드 유사도 전파(SG-AP)를 제안한다.
• 라벨이 부여된 데이터에서 유도된 동적 업데이트되는 신뢰성 임계치를 기반으로 라벨이 없는 데이터에 대해 의사 레이블을 점진적으로 할당하는 전략을 도입한다.
• 반복 과정에서 증가하는 임계치 τ를 사용하여 신뢰도가 높은 의사 레이블링 샘플의 집합을 확장함으로써 초반 클러스터링에서 발생하는 오류 전파를 줄인다.
• 개선된 임베딩이 라벨이 부여된 데이터로부터 유도되어 클러스터링 정확도가 향상되는 점진적 정교화를 통해 딥 컨volution 네트워크 백본과 의사 레이블링 과정을 공동 최적화한다.
• 초기 단계의 클러스터링 결과에서 노이즈를 줄이기 위해 신뢰도 가중치를 적용한 소프트 의사 레이블링 할당을 시행한다.
• 동일한 백본과 학습 프rotocol를 재사용함으로써 다른 작업(예: 차량 re-identification, 이미지 검색)에 프레임워크를 적응시키며 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 라벨이 부여된 인물과 라벨이 없는 인물이 분리된 상황에서, 클러스터 수나 인물 수에 대한 사전 지식이 없이도 라벨이 없는 데이터를 효과적으로 활용할 수 있는 준지도 학습 re-identification 프레임워크는 가능한가?
• RQ2 노이즈가 많은 초반 클러스터링에서 오류가 누적되지 않도록 의사 레이블링을 어떻게 점진적이고 신뢰성 있게 수행할 수 있는가?
• RQ3 라벨이 부여된 데이터로부터의 의미론적 가이드가 약한 지도 학습 설정 하에서 클러스터링 품질과 최종 re-identification 성능을 얼마나 향상시킬 수 있는가?
• RQ4 고정된 임계치나 알려진 K 값을 사용하는 기존 방법보다 제안된 프로그레시브 러닝 전략이 더 우수한 성능을 낼 수 있는가?
• RQ5 SGC-DPL 프레임워크는 person re-identification을 넘어서 다른 re-ID 및 검색 작업으로 일반화될 수 있는가?

주요 결과

• 라벨이 1/3만 부여된 Market-1501 데이터셋에서 SGC-DPL는 랭크-1 정확도 82.2%와 mAP 66.5%를 기록했으며, 완전히 지도 학습된 성능(랭크-1 85.5%, mAP 71.3%)에 근접하는 결과를 보였다.
• 모든 지도 학습 수준에서 최신 기준 준지도 학습 re-identification 방법들을 초월했으며, 인물 수의 1/12만 라벨이 부여된 설정에서도 뛰어난 성능을 보였다.
• SGC-DPL에서는 5번째 반복 이후 성능 수렴가능성이 확인되어, 최종 구현에서 안정성을 확보하기 위해 총 8회 반복을 사용하였다.
• 시각화 결과에서 초반 클러스터링에는 오류가 존재하지만, 점진적 전략이 점차 신뢰할 수 있는 샘플(빨간 원으로 표시)을 분리함으로써 시간이 지남에 따라 의사 레이블 정확도가 향상됨을 확인할 수 있었다.
• 이 프레임워크는 다른 작업으로도 잘 일반화된다: 차량 re-identification을 위한 VeRi-776과 세분화 이미지 검색을 위한 CUB-200에서도 준지도 설정 하에서 뛰어난 성능을 기록하였다.
• 절단 분석 결과, 라벨 데이터, SG-AP, 프로그레시브 러닝의 조합이 최고의 성능을 내며, 각 구성 요소가 최종 성능 향상에 기여하고 있음을 확인하였다.