[논문 리뷰] Triplet Contrastive Representation Learning for Unsupervised Vehicle Re-identification

Fei Shen, Xiaoyu Du외 3명|arXiv (Cornell University)|2023. 01. 23.

Advanced Neural Network Applications인용 수 10

한 줄 요약

본 논문은 세 가지 메모리 뱅크(part, cluster, global)와 세 가지 손실(PCL, HCL, WRCCL)을 갖춘 트리플 컨트라스트 프레임워크인 TCRL를 제시하여 부분 특징과 글로벌 특징을 연결하고 무감독 차량 재식별에서 VeRi776, VehicleID, VERI-Wild에서 추가 데이터 없이 최첨단 성능을 달성한다.

ABSTRACT

Part feature learning is critical for fine-grained semantic understanding in vehicle re-identification. However, existing approaches directly model part features and global features, which can easily lead to serious gradient vanishing issues due to their unequal feature information and unreliable pseudo-labels for unsupervised vehicle re-identification. To address this problem, in this paper, we propose a simple Triplet Contrastive Representation Learning (TCRL) framework which leverages cluster features to bridge the part features and global features for unsupervised vehicle re-identification. Specifically, TCRL devises three memory banks to store the instance/cluster features and proposes a Proxy Contrastive Loss (PCL) to make contrastive learning between adjacent memory banks, thus presenting the associations between the part and global features as a transition of the part-cluster and cluster-global associations. Since the cluster memory bank copes with all the vehicle features, it can summarize them into a discriminative feature representation. To deeply exploit the instance/cluster information, TCRL proposes two additional loss functions. For the instance-level feature, a Hybrid Contrastive Loss (HCL) re-defines the sample correlations by approaching the positive instance features and pushing the all negative instance features away. For the cluster-level feature, a Weighted Regularization Cluster Contrastive Loss (WRCCL) refines the pseudo labels by penalizing the mislabeled images according to the instance similarity. Extensive experiments show that TCRL outperforms many state-of-the-art unsupervised vehicle re-identification approaches.

연구 동기 및 목표

• 무감독 재식별에서 부분 및 글로벌 차량 특징을 학습할 때 그래디언트 소실 및 신뢰할 수 없는 의사 라벨 문제를 해결한다.
• 클러스터 기반 프록시를 통해 부분 수준과 글로벌 수준 표현을 연결하여 효과적인 교차 특징 학습을 가능하게 한다.
• 인스턴스 수준 및 클러스터 수준 정보를 활용하기 위해 메모리 뱅크와 새로운 손실 함수를 활용하여 식별 가능한 차량 표현을 얻는다.
• 추가 라벨 데이터 없이 대규모 차량 재식별 데이터셋에서 최첨단 성능을 입증한다.

제안 방법

• 세 가지 메모리 뱅크가 부분 특징(M^P), 클러스터 대표(M^C), 글로벌 특징(M^G)을 저장한다.
• Proxy Contrastive Loss (PCL)는 KL-발산 및 유클리드 거리(Euclidean distance)를 사용하여 인접 메모리 뱅크 간의 연관성(부분–클러스터, 클러스터–글로벌)을 모델링한다.
• Hybrid Contrastive Loss (HCL)는 모든 음성 인스턴스 샘플을 통합하여 인스턴스 차원에서 양수들을 당겨 모은다.
• Weighted Regularization Cluster Contrastive Loss (WRCCL)는 이미지 유사도에 따라 클러스터 수준 의사 라벨 상관관계를 가중하여 잘못 라벨링된 샘플을 억제한다.
• 클러스터 메모리 뱅크는 특징을 요약하여 구별 가능한 표현을 제공하고 DBSCAN 기반 클러스터링을 통해 의사 라벨 업데이트를 안내한다.
• 총 손실 L_Total은 PCL, HCL, WRCCL과 균형 계수로 합성된다.
• 학습은 마스크된 이미지 쌍과 원본 이미지 쌍을 사용하고, 모멘텀으로 업데이트되는 메모리와 ResNet-50 백본을 활용한다.
• 평가는 학습된 표현에서 코사인 유사도를 사용하여 VeRi776, VehicleID, VERI-Wild에서 무감독 설정으로 수행된다.

실험 결과

연구 질문

• RQ1 트리플 컨트라스트 프레임워크가 무감독 설정에서 부분 수준과 글로벌 수준의 차량 특징을 효과적으로 연결할 수 있는가?
• RQ2 메모리 뱅크 기반 프록시 및 신중하게 설계된 손실 함수가 무감독 차량 재식별 성능을 향상시키는가?
• RQ3 Part, Cluster, Global 메모리가 어떻게 상호 작용하여 미세한 차량 재식별을 위한 강건하고 식별 가능한 표현을 생성하는가?

주요 결과

• TCRL은 VeRi776에서 mAP 42.68% 및 Rank-1 87.26%의 무감독 성능으로 최첨단을 달성한다.
• VehicleID에서 TCRL은 Test800에서 mAP 66.29% 및 Rank-1 60.36%를 달성하고, 더 큰 Test1600 및 Test2400 세트에서도 강력한 결과를 보인다(논문에 값 기재).
• VERI-Wild에서 TCRL은 Test3000, Test5000, Test10000 세트 전반에서 최상의 결과를 달성하며(예: Test3000에서 mAP 66.29% 및 Rank-1 60.36%).
• 변형 연구에서 파트+글로벌 특징을 직접 모델링하면 클러스터 프록시 없이 붕괴하는 반면, 파트 특징 및 제안된 손실들(PCL, HCL, WRCCL)을 도입하면 모든 데이터셋에서 성능이 일관되게 향상된다.
• 통합된 TCRL 목표(L_Total이 L_PCL, L_HCL, L_WRCCL 포함)는 기초 모델 및 개별 손실보다 우수하며, 세 개의 메모리 뱅크를 통한 트리플 컨트라스트 학습의 이점을 보여준다.