[논문 리뷰] Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification

De Cheng, Haichun Tai외 3명|arXiv (Cornell University)|2022. 11. 30.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 비지도(person re-identification, ReID)에서 노이즈가 많은 가짜 레이블을 개선하기 위해 근접한 이웃의 예측을 특성 공간 유사도 가중치를 사용해 집계하는 방법인 이웃 일致성 유도 가짜 레이블 개선(Neighbour Consistency Guided Pseudo-Label Refinement, NCPLR)을 제안한다. 이 방법은 모델의 강건성과 성능을 향상시켜 기준 클러스터링 기반 방법 대비 다섯 개의 데이터셋에서 mAP를 최대 1.48% 향상시킨다.

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features for person retrieval without any annotations. Recent advances accomplish this task by leveraging clustering-based pseudo labels, but these pseudo labels are inevitably noisy which deteriorate model performance. In this paper, we propose a Neighbour Consistency guided Pseudo Label Refinement (NCPLR) framework, which can be regarded as a transductive form of label propagation under the assumption that the prediction of each example should be similar to its nearest neighbours'. Specifically, the refined label for each training instance can be obtained by the original clustering result and a weighted ensemble of its neighbours' predictions, with weights determined according to their similarities in the feature space. In addition, we consider the clustering-based unsupervised person ReID as a label-noise learning problem. Then, we proposed an explicit neighbour consistency regularization to reduce model susceptibility to over-fitting while improving the training stability. The NCPLR method is simple yet effective, and can be seamlessly integrated into existing clustering-based unsupervised algorithms. Extensive experimental results on five ReID datasets demonstrate the effectiveness of the proposed method, and showing superior performance to state-of-the-art methods by a large margin.

연구 동기 및 목표

• 클러스터링 기반 비지도(person ReID)에서의 노이즈가 많은 가짜 레이블 문제를 해결하기 위해, 이는 레이블 기억화와 과적합으로 인해 모델 성능이 저하되기 때문이다.
• 비지도 ReID를 레이블 노이즈 학습 문제로 모델링하여 학습의 안정성과 강건성을 향상시키기 위해.
• 보조 네트워크나 복잡한 아키텍처 없이도 기존의 클러스터링 기반 USL ReID 프레임워크를 향상시킬 수 있는 경량이며 플러그인 방식의 방법을 개발하기 위해.
• 특성 공간 내 局부 이웃 구조를 활용하여 전도적 레이블 전파 원리에 기반해 가짜 레이블을 개선하기 위해.

제안 방법

• 각 학습 인스턴스의 개선된 가짜 레이블은 k개의 가장 가까운 이웃의 예측을 가중치 합성으로 계산하며, 이 가중치는 특성 공간 내 코사인 유사도에 기반한다.
• 학습 가능한 보간 계수 α를 통해 원래의 클러스터링 기반 가짜 레이블과 이웃 앙상블 예측을 결합한다.
• 이웃 예측 평균에서의 예측 분산을 억제하기 위해 새로운 이웃 일치성 정규화(Neighbor Consistency Regularization, NCR)를 도입하여 학습 안정성을 향상시킨다.
• NCR 손실은 특성 임bedding에서 구축한 유사도 그래프를 사용해 계산되며, 예측된 레이블에 의존하지 않고 국소 일관성을 장려한다.
• 기본적인 거리 학습 목표(예: 트리플릿 손실, InfoNCE 손실)와 호환되며, 기존 USL ReID 파ip라인에 최소한의 수정으로 통합할 수 있다.
• 하이퍼파라미터 α, ρ(이웃 반경), λ1, λ2는 개선과 감독의 균형을 위해 조정되며, 최적 값은 α=0.2, ρ=0.2, λ1=1.0, λ2=1.0로 확인되었다.

실험 결과

연구 질문

• RQ1 보조 모델이나 복잡한 아키텍처 없이도 이웃 기반 레이블 개선이 비지도 person ReID에서 가짜 레이블의 품질을 향상시킬 수 있는가?
• RQ2 이웃 일치성 정규화는 학습 도중 노이즈가 많은 가짜 레이블에 대한 모델 과적합을 어떻게 줄이는가?
• RQ3 제안된 NCPLR 방법은 기준 클러스터링 기반 USL ReID 방법 대비 mAP와 Rank-1 정확도를 어느 정도 향상시키는가?
• RQ4 mAP 성능을 최대화하기 위해 하이퍼파라미터 α, ρ, λ1, λ2의 최적 설정은 무엇인가?
• RQ5 클러스터링 품질이 낮을 경우에도 이 방법은 효과를 유지하는가, 아니면 상대적으로 깨끗한 초기 가짜 레이블 세트에 의존하는가?

주요 결과

• NCPLR는 다섯 개의 표준 ReID 데이터셋에서 기준 방법 Lcc + Lce 대비 평균 1.48% 향상된 mAP 성능을 달성한다.
• 식 (7)과 같은 가중치 기반 개선 전략을 적용할 경우, 평균적으로 추가로 0.48% 향상된 mAP 성능을 기록한다.
• 교사-학생 네트워크에 적용했을 때도 평균 0.64% 향상된 mAP 성능을 기록하여, 자기-정교화(self-distillation) 환경에서도 효과적임을 입증한다.
• Market1501에서의 분석을 통해 최적 하이퍼파라미터 조합은 α=0.2, ρ=0.2, λ1=1.0, λ2=1.0로 도출되었다.
• α=0.2일 때 성능이 가장 우수한 것으로 나타나, 원래 클러스터링과 이웃 일치성 간의 균형이 뛰어난 결과를 낳음을 시사한다.
• 이 방법은 강건하고 일반화 능력이 뛰어나, Market1501, DukeMTMC, CUHK03, MSMT1233, CUHK-SYSU 등 다양한 ReID 데이터셋에서 일관된 성능 향상을 보였다.