[논문 리뷰] Joint Noise-Tolerant Learning and Meta Camera Shift Adaptation for Unsupervised Person Re-Identification

Fengxiang Yang, Zhun Zhong외 5명|arXiv (Cornell University)|2021. 03. 08.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 15

한 줄 요약

이 논문은 비지도(person re-identification)에서 노이즈가 있는 가짜 레이블과 카메라 이동 문제를 동시에 해결하기 위한 통합 프레임워크를 제안한다. 동적 대칭 교차 엔트로피 손실(DSCE)과 카메라 인식 메타학습 방법(MetaCam)을 통해 구현된다. DSCE는 변화하는 클러스터 중심에 적응하며 노이즈 레이블에 강건하다. 반면 MetaCam은 학습 중에 서로 다른 카메라 간 검색을 시뮬레이션함으로써 카메라 불변 특징 학습을 유도한다. 이는 세 가지 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

This paper considers the problem of unsupervised person re-identification (re-ID), which aims to learn discriminative models with unlabeled data. One popular method is to obtain pseudo-label by clustering and use them to optimize the model. Although this kind of approach has shown promising accuracy, it is hampered by 1) noisy labels produced by clustering and 2) feature variations caused by camera shift. The former will lead to incorrect optimization and thus hinders the model accuracy. The latter will result in assigning the intra-class samples of different cameras to different pseudo-label, making the model sensitive to camera variations. In this paper, we propose a unified framework to solve both problems. Concretely, we propose a Dynamic and Symmetric Cross-Entropy loss (DSCE) to deal with noisy samples and a camera-aware meta-learning algorithm (MetaCam) to adapt camera shift. DSCE can alleviate the negative effects of noisy samples and accommodate the change of clusters after each clustering step. MetaCam simulates cross-camera constraint by splitting the training data into meta-train and meta-test based on camera IDs. With the interacted gradient from meta-train and meta-test, the model is enforced to learn camera-invariant features. Extensive experiments on three re-ID benchmarks show the effectiveness and the complementary of the proposed DSCE and MetaCam. Our method outperforms the state-of-the-art methods on both fully unsupervised re-ID and unsupervised domain adaptive re-ID.

연구 동기 및 목표

• 비지도(person re-identification)에서 군집화로부터 유도된 노이즈가 있는 가짜 레이블과 카메라 이동에 의한 특징 변동이라는 이중 과제를 해결하기 위해.
• 라벨 데이터에 의존하지 않고 카메라 불변 표현을 학습하여 모델의 강인성과 일반화 능력을 향상시키기 위해.
• 반복적 군집화와 가짜 레이블링 과정에서 변화하는 클러스터 구조에 적응할 수 있는 학습 프레임워크를 개발하기 위해.
• 완전히 비지도 re-ID 및 비지도 도메인 적응 설정에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 특징 메모리 기반의 동적 대칭 교차 엔트로피(DSCE) 손실을 도입하여, 클래스 중심을 동적으로 업데이트하고 노이즈 레이블 영향을 완화한다.
• 모든 클래스에 작은 비-zero 확률을 할당하는 대칭 소프트 레이블 설정을 통해 노이즈 레이블에 대한 과적합을 줄이고, 레이블 노이즈에 강건한 DSCE를 설계한다.
• 카메라 ID 기반으로 학습 데이터를 메타-학습 및 메타-테스트 세트로 분할하여 서로 다른 카메라 간 검색을 시뮬레이션하는 카메라 인식 메타학습 알고리즘인 MetaCam을 제안한다.
• 메타 최적화를 통해 메타-학습(원천 카메라) 및 메타-테스트(대상 카메라) 작업의 기울기를 활용해 백본 네트워크를 업데이트함으로써 카메라 불변 특징 학습을 장려한다.
• 학습 반복 과정에서 특징 표현을 저장하고 업데이트하는 특징 메모리 백업을 활용하여 동적 클러스터 적응을 가능하게 한다.
• DSCE와 MetaCam을 결합한 공동 학습 파이프라인을 통해 반복적으로 가짜 레이블을 정교화하고 노이즈 및 도메인 이동에 대한 특징 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 반복적 군집화 과정에서 변화하는 노이즈 가짜 레이블에 대해 어떻게 손실 함수를 강건하게 만들 수 있는가?
• RQ2 라벨 데이터가 없이도 메타학습을 효과적으로 적용하여 카메라 불변 표현을 강제로 유도할 수 있는가?
• RQ3 노이즈 내성과 카메라 이동 보정을 동시에 최적화하면 비지도 re-ID 성능에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 완전히 비지도 및 비지도 도메인 적응 설정 모두에 일반화되는가?

주요 결과

• 비지도 도메인 적응 설정에서 Market-1501에서 76.5% mAP, DukeMTMC-reID에서 65.0% mAP를 달성하여 이전 최신 기준인 MMT-500보다 각각 5.3%와 1.9% 향상되었다.
• 완전히 비지도 re-ID 설정에서 세 벤치마크 전반에서 최신 기준 성능을 달성하여 강력한 일반화 및 강인성을 입증했다.
• 절단 실험을 통해 DSCE와 MetaCam이 성능 향상에 기여하며, 함께 사용할 경우 상호 보완적 효과를 보였다.
• 다중 클래스 분류에서 노이즈 내성에 필요한 조건을 충족함으로써 이론적으로 DSCE 손실이 노이즈 레이블에 강건함을 입증했다.
• Qualitative 시각화 결과에서 서로 다른 카메라에서 온 동일 클래스 샘플이 더 잘 군집화되어 있음을 확인하여, MetaCam이 카메라 변동에 대한 민감도를 효과적으로 감소시켰음을 보여주었다.
• 기존 UDA 방법과 호환되며, MMT-500의 성능을 Market-1501에서 5.3% mAP 향상, DukeMTMC-reID에서 1.9% mAP 향상시켰다.