[논문 리뷰] Plug-and-Play Pseudo Label Correction Network for Unsupervised Person Re-identification

Tianyi Yan, Kuan Jun Zhu외 4명|arXiv (Cornell University)|2022. 06. 14.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 그래프 컬러네이션 네트워크를 활용하여 k-NN 그래프에서 구조적 일관성을 강제함으로써 노이즈가 있는 가짜 레이블을 보정하는 플러그 앤 플레이형 그래프 기반 레이블 보정(Generic Label Correction, GLC) 네트워크를 제안한다. 이는 과적합을 방지하기 위해 조기 정지 기법을 적용하여, 주 훈련 파이프라인을 수정하지 않고도 여러 벤치마크와 클러스터링 방법에서 재식별 정확도를 향상시킨다.

ABSTRACT

Clustering-based methods, which alternate between the generation of pseudo labels and the optimization of the feature extraction network, play a dominant role in both unsupervised learning (USL) and unsupervised domain adaptive (UDA) person re-identification (Re-ID). To alleviate the adverse effect of noisy pseudo labels, the existing methods either abandon unreliable labels or refine the pseudo labels via mutual learning or label propagation. However, a great many erroneous labels are still accumulated because these methods mostly adopt traditional unsupervised clustering algorithms which rely on certain assumptions on data distribution and fail to capture the distribution of complex real-world data. In this paper, we propose the plug-and-play graph-based pseudo label correction network (GLC) to refine the pseudo labels in the manner of supervised clustering. GLC is trained to perceive the varying data distribution at each epoch of the self-training with the supervision of initial pseudo labels generated by any clustering method. It can learn to rectify the initial noisy labels by means of the relationship constraints between samples on the k Nearest Neighbor (kNN) graph and early-stop training strategy. Specifically, GLC learns to aggregate node features from neighbors and predict whether the nodes should be linked on the graph. Besides, GLC is optimized with 'early stop' before the noisy labels are severely memorized to prevent overfitting to noisy pseudo labels. Consequently, GLC improves the quality of pseudo labels though the supervision signals contain some noise, leading to better Re-ID performance. Extensive experiments in USL and UDA person Re-ID on Market-1501 and MSMT17 show that our method is widely compatible with various clustering-based methods and promotes the state-of-the-art performance consistently.

연구 동기 및 목표

• 지속적인 노이즈가 있는 가짜 레이블로 인해 훈련 반복 과정에서 모델 성능이 저하되는 비지도 및 도메인 적응형 재식별 문제를 해결하기 위해.
• 데이터 분포에 대한 강한 가정에 의존하지 않고도 가짜 레이블 품질을 향상시키는 방법을 개발하여 기존 K-means 및 DBSCAN과 같은 전통적 클러스터링 알고리즘의 한계를 극복하기 위해.
• 모든 클러스터링 기반 자기학습 프레임워크와 호환되는 플러그 앤 플레이 모듈을 설계하여 기존 Re-ID 파이프라인에 쉽게 통합할 수 있도록 하기 위해.
• 그래프 기반 정규화와 조기 정지를 통해 레이블 노이즈의 부정적 영향을 줄이고 반복 훈련 중에도 안정성을 확보하기 위해.

제안 방법

• 각 노드가 사람 이미지에 대응하고, 특성 유사도 기반으로 k개의 가장 가까운 이웃과 연결된 k-NN 그래프를 구축한다.
• 클러스터링 작업을 그래프 상의 링크 예측 문제로 재정의하고, 이웃 노드의 특징을 집계하기 위해 GCN 레이어를 사용한다.
• 초기 가짜 레이블을 지도로 사용하여 두 노드가 연결되어야 하는지(즉, 동일한 신원에 속해야 하는지) 예측할 수 있도록 GLC 네트워크를 훈련한다. 이때 노이즈가 포함된 레이블이어도 가능하다.
• GLC 훈련 중에 조기 정지 전략을 적용하여 노이즈 레이블에 대한 기억화를 방지하고 일반화 능력을 유지한다.
• 각 클러스터링 단계 이후에 GLC를 후처리 모듈로 통합하여 다음 특징 추출기 업데이트 전에 가짜 레이블을 보정한다.
• 선택적으로 후속 훈련 단계에서 특징 추출기를 재초기화함으로써 성능 향상을 위한 리스타트 전략을 적용할 수 있다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 지도 신호가 존재하는 상황에서도 그래프 기반 신경망이 비지도 재식별에서 노이즈가 있는 가짜 레이블을 효과적으로 보정할 수 있는가?
• RQ2 GLC 훈련 중 조기 정지를 통해 노이즈 가짜 레이블에 대한 과적합을 방지하고 레이블 품질을 향상시킬 수 있는가?
• RQ3 GLC 모듈은 다양한 클러스터링 기반 Re-ID 프레임워크와 데이터셋에서 어떻게 성능을 발휘하는가?
• RQ4 자기학습 과정에서 GLC를 적용할 최적의 시점과 빈도는 무엇인가?

주요 결과

• GLC는 Market-1501과 MSMT17를 포함한 여러 벤치마크에서 비지도 및 도메인 적응 설정 모두에서 mAP와 NMI를 일관되게 향상시킨다.
• Market-1501에서 MSMT17로의 벤치마크에서 GLC와 IDM을 조합하면 훈련 시간이 25% 증가하는 데 비해 mAP가 3.5%p 절대 상승한다.
• GLC 적용을 총 훈련 에포크의 20% 지점(p_s = 0.2)에서 시작할 경우, 특징의 구분 능력과 레이블 보정 효과성 사이의 균형을 잘 맞춰 최적의 성능을 달성한다.
• GLC 훈련에서 t_e = 250 에포크에 조기 정지를 적용하면 과적합을 방지하고 안정적인 NMI 점수를 유지함으로써 전체 훈련 기간 동안 고품질의 가짜 레이블을 유지할 수 있다.
• 리스타트 전략은 성능 향상에 기여하며, 특징 추출기를 훈련 과정의 80% 지점(p_r = 0.8)에서 재초기화할 경우 가장 우수한 결과를 얻는다.
• GLC는 하이퍼파라미터, 특히 λ에 대해 강건하며, 사용된 기반 클러스터링 방법과 관계없이 일관된 성능 향상을 보인다.