[논문 리뷰] ICE: Inter-instance Contrastive Encoding for Unsupervised Person Re-identification

Hao Chen, Benoit Lagadec외 1명|arXiv (Cornell University)|2021. 03. 30.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 12

한 줄 요약

이 논문은 대조 학습을 향상시키기 위해 쌍별 인스턴스 유사도를 활용하는 새로운 비지도(person re-identification) 방법인 상호 인스턴스 대비 인코딩(ICE)을 제안한다. 하드 양성 예측을 위한 유사도 순위 기반의 하드 인스턴스 대비와 증강 일관성을 위한 소프트 유사도 점수를 통해 ICE는 내부 클래스 분산을 줄이고 강건성을 향상시켜, 정체성 레이블 없이도 Market1501, DukeMTMC-reID, MSMT17에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised person re-identification (ReID) aims at learning discriminative identity features without annotations. Recently, self-supervised contrastive learning has gained increasing attention for its effectiveness in unsupervised representation learning. The main idea of instance contrastive learning is to match a same instance in different augmented views. However, the relationship between different instances has not been fully explored in previous contrastive methods, especially for instance-level contrastive loss. To address this issue, we propose Inter-instance Contrastive Encoding (ICE) that leverages inter-instance pairwise similarity scores to boost previous class-level contrastive ReID methods. We first use pairwise similarity ranking as one-hot hard pseudo labels for hard instance contrast, which aims at reducing intra-class variance. Then, we use similarity scores as soft pseudo labels to enhance the consistency between augmented and original views, which makes our model more robust to augmentation perturbations. Experiments on several large-scale person ReID datasets validate the effectiveness of our proposed unsupervised method ICE, which is competitive with even supervised methods. Code is made available at https://github.com/chenhao2345/ICE.

연구 동기 및 목표

• 기존 비지도 ReID 방법이 대조 학습에서 상호 인스턴스 관계를 충분히 활용하지 못하는 한계를 해결하기 위해.
• 인스턴스 쌍별 유사도 순위를 기반으로 하드 양성 예측을 채택하여 비지도 ReID에서 내부 클래스 분산을 줄이기 위해.
• 유사도 점수를 소프트 의사 레이블로 사용하여 데이터 증강 변형에 대한 강건성을 향상시키기 위해.
• 정체성 레이블이 필요 없이 완전히 비지도 프레임워크를 개발하여 지도 학습 방법의 성능을 따라하거나 능가하기 위해.

제안 방법

• ICE는 미니배치 내에서 쌍별 유사도 점수를 사용하여 각 앵커에 대해 가장 하드한 양성 샘플을 식별하고, 하드 인스턴스 대비 학습을 위한 one-hot 하드 의사 레이블을 생성한다.
• 이러한 하드 의사 레이블을 바탕으로 대비 손실을 적용하여 내부 클래스 분산을 최소화하고 클러스터의 밀도를 향상시킨다.
• 쌍별 유사도 점수를 소프트 의사 레이블로 사용하여 원본 및 증강된 뷰 간의 일관성을 강제함으로써 증강에 대한 강건성을 향상시킨다.
• 프레임워크는 세 가지 구성 요소를 통합한다: 클래스 수준의 대비(중심점 기반), 하드 인스턴스 대비(가장 하드한 양성), 소프트 일관성 손실(증강 불변성).
• 모델은 정체성 레이블이 전혀 필요 없이 완전히 비지도로 작동하며, 카메라 무관 및 카메라 의존 메모리 백업 모두와 호환된다.
• 자기 지도적 인스턴스 수준 및 쌍별 유사도 학습에서 유도된 대조 목적함수를 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 상호 인스턴스 쌍별 유사도는 클래스 수준 및 인스턴스 수준의 대조 학습을 초월하여 비지도 인식(person re-identification) 성능을 향상시킬 수 있는가?
• RQ2 유사도 순위 기반 하드 양성 예측은 비지도 ReID에서 내부 클래스 분산을 어떻게 줄일 수 있는가?
• RQ3 소프트 유사도 점수를 의사 레이블로 사용하면 증강 변형에 대한 모델의 강건성이 향상되는가?
• RQ4 상호 인스턴스 유사도를 활용하면 지도 학습 방법에 비해 성능 향상이 유사하거나 이를 초월하는가?

주요 결과

• ICE(aware)는 Market1501에서 82.3%의 랭크-1 정확도를 달성하여 카메라 의존 기반 기준선 CAP보다 2.9%p 높다.
• ICE(agnostic)는 Market1501에서 카메라 무관 기반 기준선 SpCL보다 2.8% 높은 성능을 기록하여 카메라 사전 지식 없이도 개선된 강건성을 입증했다.
• MSMT17에서 ICE(aware)는 98.4%의 랭크-1 정확도를 기록하여 이전의 모든 비지도 및 UDA 방법을 크게 앞서며 성능을 뛰어넘었다.
• ICE는 지도 학습 방법과 경쟁 가능한 성능을 보였다: 진짜 레이블을 사용한 ICE는 Market1501에서 86.6%의 랭크-1 정확도를 기록하여 PCB 및 DG-Net의 성능에 근접했다.
• 제거 분석 결과 하드 인스턴스 대비와 소프트 일관성 손실 모두 성능 향상에 기여한다는 것이 확인되었다.
• 정성적 결과는 ICE가 하드 검색 케이스에서 의류 패atters, 헤어 컬러, 액세서리와 같은 미세한 시각적 특징을 성공적으로 포착함을 보여주었다.