[논문 리뷰] Dual Cluster Contrastive learning for Object Re-Identification

Hantao Yao, Changsheng Xu|arXiv (Cornell University)|2021. 12. 09.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 개별 기반 및 중심점 기반 클러스터 메모리 백을 동시에 활용하여 대비 학습을 안정화시키는 새로운 프레임워크인 이중 클러스터 대비 학습(Dual Cluster Contrastive learning, DCC)을 제안한다. 개별 수준 및 클러스터 평균 수준의 모멘타무 업데이트를 통합함으로써 DCC는 지도 및 비지도 ReID 벤치마크에서 최신 기술 수준을 달성하며, 이전 방법 대비 mAP를 최대 3.5% 향상시킨다.

ABSTRACT

Recently, cluster contrastive learning has been proven effective for object ReID by computing the contrastive loss between the individual features and the cluster memory. However, existing methods that use the individual features to momentum update the cluster memory will fluctuate over the training examples, especially for the outlier samples. Unlike the individual-based updating mechanism, the centroid-based updating mechanism that applies the mean feature of each cluster to update the cluster memory can reduce the impact of individual samples. Therefore, we formulate the individual-based updating and centroid-based updating mechanisms in a unified cluster contrastive framework, named Dual Cluster Contrastive framework (DCC), which maintains two types of memory banks: individual and centroid cluster memory banks. Significantly, the individual cluster memory considers just one individual at a time to take a single step for updating. The centroid cluster memory applies the mean feature of each cluster to update the corresponding cluster memory. During optimization, besides the vallina contrastive loss of each memory, a cross-view consistency constraint is applied to exchange the benefits of two memories for generating a discriminative description for the object ReID. Note that DCC can be easily applied for unsupervised or supervised object ReID by using ground-truth labels or the generated pseudo-labels. Extensive experiments on three benchmarks, \emph{e.g.,} Market-1501, MSMT17, and VeRi-776, under extbf{supervised Object ReID} and extbf{unsupervised Object ReID} demonstrate the superiority of the proposed DCC.

연구 동기 및 목표

• 개별 기반 모멘타무 업데이트의 불안정성, 특히 외곽값 샘플로 인한 영향을 해결하기 위해.
• 보완적인 중심점 기반 업데이트 메커니즘을 도입하여 표현 학습의 안정성과 분류 능력을 향상시키기 위해.
• 개별 수준 및 중심점 수준의 클러스터 대비 학습을 하나의 효과적인 프레임워크(DCC)로 통합하여 지도 및 비지도 ReID에 모두 적용 가능하게 하기 위해.
• 배치 크기 및 모멘타무 계수와 같은 하이퍼파라미터에 대한 민감도를 줄여 학습 수렴성과 일반화 능력을 향상시키기 위해.

제안 방법

• DCC는 개별 특징(개별 클러스터 메모리)과 클러스터 평균 특징(중심점 클러스터 메모리)을 위한 두 개의 별도 메모리 백을 유지한다.
• 개별 클러스터 메모리는 개별 특징의 모멘타무 추적을 통해 업데이트되며, 확률적 경사 하강법을 모방한다.
• 중심점 클러스터 메모리는 각 클러스터의 평균 특징을 사용하여 업데이트되며, 노이즈가 많은 외곽값의 영향을 줄이기 위해 배치 경사 하강법을 모방한다.
• 두 메모리 백 간의 교차 시각 일致성 제약 조건을 적용하여 표현을 정렬하고 분류 능력을 향상시킨다.
• 프레임워크는 어떤 백본 네트워크와도 통합 가능하며, 지도 학습에서는 진짜 레이블, 비지도 학습에서는 가짜 레이블을 사용할 수 있다.
• 대비 손실은 두 메모리 백 각각에 대해 독립적으로 계산되며, 이들의 공동 최적화가 특징 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 및 중심점 기반 클러스터 업데이트를 조합한 이중 메모리 메커니즘이 객체 ReID의 대비 학습에서 안정성을 향상시킬 수 있는가?
• RQ2 개별 기반 업데이트에 비해 중심점 기반 업데이트 메커니즘이 노이즈 또는 외곽값 샘플의 영향을 어떻게 줄이는가?
• RQ3 개별 및 중심점 메모리 백의 공동 최적화가 지도 및 비지도 ReID 설정에서 더 나은 일반화를 이끌어내는가?
• RQ4 DCC는 벤치마크 전반에서 mAP 및 R1 정확도 측면에서 기존의 클러스터 대비 학습 방법보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• Market-1501에서 DCC는 지도 ReID에서 89.9% mAP와 64.3% R1를 달성하여 Circle Loss(87.4% mAP, 52.1% R1)를 능가한다.
• 비지도 ReID에서 DCC는 Market-1501에서 35.9% mAP와 64.3% R1를 기록하여 이전 최고 성능인 31.2% mAP를 기록한 ClusterContrastive(Infomap)를 능가한다.
• MSMT17에서 DCC는 ResNet50-ibn을 사용해 42.1% mAP와 87.9% R1를 달성하며, 이전 최고 성능인 40.8% mAP를 기록한 ClusterContrastive(Infomap)를 크게 초월한다.
• VeRi-776에서 DCC는 비지도 ReID에서 36.6% mAP와 64.9% R1를 기록하여 이전 모든 비지도 방법을 능가한다.
• 기존의 클러스터 대비 학습 방법에 비해 DCC는 더 빠른 수렴 속도를 보이며 배치 크기 및 모멘타무 하이퍼파라미터에 대한 민감도가 감소한다.
• 제거 실험 결과, 개별 메모리와 중심점 메모리 간의 교차 시각 일치 제약 조건이 성능 향상에 필수적임을 확인하였다.