[논문 리뷰] Unsupervised Person Re-identification via Multi-label Classification

Dongkai Wang, Shiliang Zhang|arXiv (Cornell University)|2020. 04. 20.

Video Surveillance and Tracking Methods인용 수 35

한 줄 요약

이 논문은 비지도 인물 재식별을 메모리 기반 라벨 예측(MPLP)과 메모리 기반 다중 라벨 분류 손실(MMCL)을 이용한 다중 라벨 분류로 공식화하여, 고전적인 ReID 데이터셋에서 강력한 비지도 및 전이 학습 성능을 달성한다.

ABSTRACT

The challenge of unsupervised person re-identification (ReID) lies in learning discriminative features without true labels. This paper formulates unsupervised person ReID as a multi-label classification task to progressively seek true labels. Our method starts by assigning each person image with a single-class label, then evolves to multi-label classification by leveraging the updated ReID model for label prediction. The label prediction comprises similarity computation and cycle consistency to ensure the quality of predicted labels. To boost the ReID model training efficiency in multi-label classification, we further propose the memory-based multi-label classification loss (MMCL). MMCL works with memory-based non-parametric classifier and integrates multi-label classification and single-label classification in a unified framework. Our label prediction and MMCL work iteratively and substantially boost the ReID performance. Experiments on several large-scale person ReID datasets demonstrate the superiority of our method in unsupervised person ReID. Our method also allows to use labeled person images in other domains. Under this transfer learning setting, our method also achieves state-of-the-art performance.

연구 동기 및 목표

• 진짜 라벨 없이 구별 가능한 ReID 특징을 학습하는 데 도전과제를 해결한다.
• 실제 정체성을 발견하기 위해 비지도 ReID를 점진적 다중 라벨 분류로 공식화한다.
• 메모리 뱅크와 사이클 일관성을 사용해 신뢰할 만한 다중 라벨을 예측하는 MPLP를 개발한다.
• 많은 클래스에서 효율적이고 그래디언트 친화적인 학습을 가능하게 하는 MMCL를 도입한다.
• 대규모 ReID 데이터셋에서 강력한 비지도 및 전이 학습 성능을 입증한다.

제안 방법

• 각 비라벨 이미지를 잠재 클래스로 간주하고 학습을 위해 점진적으로 다중 라벨을 예측한다.
• 이미지 특징을 저장하는 메모리 뱅크 M을 사용하고 유사성과 사이클 일관성을 활용해 MPLP로 라벨 예측한다.
• M^T f_i 점수를 사용하고 시그모이드 없이 라벨을 예측하는 Memory-based Multi-label Classification Loss (MMCL)로 학습하며, 하드 네거티브 마이닝 포함한다.
• 각 이터레이션 이후 지수 이동 평균으로 메모리 뱅크를 업데이트하고 특징을 L2 정규화한다.
• 특징 강건성과 라벨 예측 신뢰도 향상을 위해 데이터 증강(CamStyle 등) 적용한다.
• MMCL을 표준 라벨 데이터 손실과 결합해 전이 학습 옵션을 제공한다.

실험 결과

연구 질문

• RQ1 비지도 ReID가 MPLP로 다중 라벨을 반복적으로 예측하고 MMCL로 아무 라벨 데이터 없이 학습함으로써 달성될 수 있는가?
• RQ2 메모리 기반 라벨 예측이 다중 라벨 학습을 위한 가짜 라벨의 품질과 일관성을 향상시키는가?
• RQ3 많은 클래스에서 다중 라벨 학습에 내재된 그래디언트 소실 및 클래스 불균형 문제를 MMCL이 다루는가?
• RQ4 제안된 방법의 Market-1501, DukeMTMC-reID, MSMT17에서 완전한 비지도 설정 및 전이 학습 상황에서의 성능은?

주요 결과

• Market-1501에서 비지도 MMCL+MPLP는 rank-1 80.3% 및 mAP 45.5%를 달성하여 기존 비지도 방법들을 큰 폭으로 능가.
• 전이 학습(소스로 DukeMTMC-reID 사용)에서 Market-1501 rank-1이 84.4%에 도달.
• MSMT17에서 비지도 모드에서 35.4% rank-1, 전이 설정에서 43.6%/58.9%(rank-1/Rank-10) 달성으로 더 크고 까다로운 데이터셋에서 경쟁력 있는 성능 입증.
• 제거 연구에서 MPLP가 KNN 및 SS 기반 라벨 예측을 능가하고 MMCL이 교차 엔트로피 기반 손실을 능가하며 특히 하드 네거티브 마이닝에서 우수.
• CamStyle 데이터 증강이 성능을 크게 높여 비지도 ReID에서 데이터 증강의 중요성을 확인.
• MMCL은 시그모이드 기반 학습 비효율성을 피하고 정규화된 점수에 대한 제곱 손실과 대상 하드 네거티브 마이닝으로 그래디언트 소실을 완화.