[논문 리뷰] Part-based Pseudo Label Refinement for Unsupervised Person Re-identification

Yoonki Cho, Woo Jae Kim외 2명|arXiv (Cornell University)|2022. 03. 28.

Video Surveillance and Tracking Methods인용 수 14

한 줄 요약

이 논문은 전역 및 부분 특징 간 상호보완적 관계를 활용하여 노이즈가 많은 가짜 레이블을 줄이는 자기 앙상블 비지도(person re-identification) 방법인 Part-based Pseudo Label Refinement (PPLR)을 제안한다. k-최근접 이웃 유사도를 기반으로 한 교차 일치 점수를 도입하여 전역 가짜 레이블을 부분 특징 예측을 통해 정제하고, 일치도 기반 레이블 스무딩을 적용함으로써 Market-1501, MSMT17, VeRi-776에서 최신 기준 성능(SOTA)을 달성한다.

ABSTRACT

Unsupervised person re-identification (re-ID) aims at learning discriminative representations for person retrieval from unlabeled data. Recent techniques accomplish this task by using pseudo-labels, but these labels are inherently noisy and deteriorate the accuracy. To overcome this problem, several pseudo-label refinement methods have been proposed, but they neglect the fine-grained local context essential for person re-ID. In this paper, we propose a novel Part-based Pseudo Label Refinement (PPLR) framework that reduces the label noise by employing the complementary relationship between global and part features. Specifically, we design a cross agreement score as the similarity of k-nearest neighbors between feature spaces to exploit the reliable complementary relationship. Based on the cross agreement, we refine pseudo-labels of global features by ensembling the predictions of part features, which collectively alleviate the noise in global feature clustering. We further refine pseudo-labels of part features by applying label smoothing according to the suitability of given labels for each part. Thanks to the reliable complementary information provided by the cross agreement score, our PPLR effectively reduces the influence of noisy labels and learns discriminative representations with rich local contexts. Extensive experimental results on Market-1501 and MSMT17 demonstrate the effectiveness of the proposed method over the state-of-the-art performance. The code is available at https://github.com/yoonkicho/PPLR.

연구 동기 및 목표

• 비지도 사람 재식별에서 사용되는 가짜 레이블의 내재된 노이즈가 모델 성능을 떨어뜨리는 문제를 해결한다.
• 기존 방법이 전역 특징에만 의존하고 세분화된 국소적 맥락을 간과하는 한계를 극복한다.
• 전역 및 부분 특징 간 상호보완적 관계를 활용하여 레이블 신뢰도와 표현 학습을 향상시킨다.
• 보조 네트워크가 필요 없는 자기 앙상블 프레임워크를 개발하여 계산 비용을 줄이면서도 높은 정확도를 유지한다.
• 오염 또는 배경 아티팩트로 인한 노이즈가 퍼지는 것을 방지하기 위해 전역 및 부분 특징 간 신뢰할 수 있는 상호보완 정보를 식별할 수 있는 메커니즘을 도입한다.

제안 방법

• 전역 및 부분 특징의 k-최근접 이웃 집합 간 유사도를 기반으로 한 교차 일치 점수를 설계하여 신뢰할 수 있는 상호보완적 관계를 측정한다.
• 다양한 부분 특징의 예측을 집계함으로써 전역 가짜 레이블을 정제하는 부분 유도 레이블 정제(PGLR)를 구현하여 국소적 맥락 활용을 향상시킨다.
• 교차 일치 점수를 기반으로 신뢰도 분포를 校정함으로써 부분 특징의 가짜 레이블을 정제하는 일치도 기반 레이블 스무딩(AALS)을 적용한다.
• 보조 네트워크가 필요 없이 전역 및 부분 특징가 서로의 가짜 레이블을 상호 정제하는 자기학습, 동료 앙상블 학습 체계를 사용한다.
• 정제된 가짜 레이블을 대비 학습 목표에 통합하여 특징의 구분 능력을 향상시키며, 각 구성 요소의 기여도를 검증하기 위해 분석 실험을 실시한다.
• 특징 맵을 균일하게 분할하여 부분 특징 추출 전략을 활용하지만, 이미지 간 신체 부위의 정렬 불일치로 인한 한계를 인정한다.

실험 결과

연구 질문

• RQ1 전역 및 부분 특징 간 상호보완적 관계를 효과적으로 활용하여 비지도 사람 재식별에서 가짜 레이블 노이즈를 줄일 수 있는가?
• RQ2 오염 또는 가림으로 인한 영역에서 유래하는 노이즈를 방지하기 위해 전역 및 부분 특징 간 안정적인 상호보완 정보를 어떻게 식별할 수 있는가?
• RQ3 교차 일치를 기반으로 전역 및 부분 가짜 레이블을 모두 정제할 경우, 전역 특징만 정제하는 기존 방법보다 전체 재식별 성능이 향상되는가?
• RQ4 보조 네트워크나 복잡한 아키텍처 없이 교차 일치 기반 자기 앙상블 프레임워크가 최신 기준 방법을 초월할 수 있는가?
• RQ5 부분 특징이 풍부한 국소 맥락을 통해 레이블이 없는 환경에서 학습된 표현의 강건성과 구분 능력이 어느 정도 향상되는가?

주요 결과

• PPLR는 Market-1501, MSMT17, VeRi-776에서 최신 기준 성능을 달성하며, 이전 SOTA 방법인 RLCC보다 각각 mAP에서 +3.8%, +3.5%, +2.0% 향상되었다.
• Market-1501 및 MSMT17에서 PPLR는 카메라 인식 대비 대비 학습을 사용하는 강력한 SOTA 방법인 ICE를 각각 mAP에서 +2.1% 및 +3.3% 초월했다.
• 분석 실험을 통해 부분 유도 레이블 정제와 일치도 기반 레이블 스무딩 모두 성능 향상에 기여하며, 교차 일치 점수가 노이즈 감소에 핵심적인 역할을 한다는 것이 확인되었다.
• 특히 자세나 시점 변화가 있는 상황에서도 부분 특징을 전역 특징 클러스터링 정제에 신뢰할 수 있는 신호로 활용함으로써 레이블 노이즈를 효과적으로 완화하였다.
• 교차 일치 점수는 신뢰할 수 있는 상호보완 신호를 성공적으로 식별하여, 오염 또는 배경 객체와 같은 노이즈가 많거나 관련 없는 부분 특징을 걸러내었다.
• 보조 네트워크 없이도 높은 성능을 달성하여, 부분-전역 상호보완성 기반 자기 앙상블 학습이 다중 백본 교사-학생 기반 기법보다 더 효율적이고 효과적인 대안임을 입증하였다.