[논문 리뷰] Intra-Inter Camera Similarity for Unsupervised Person Re-Identification

Shiyu Xuan, Shiliang Zhang|arXiv (Cornell University)|2021. 03. 22.

Video Surveillance and Tracking Methods참고 문헌 27인용 수 10

한 줄 요약

이 논문은 비지도(person re-identification)에서 도메인 간 차이를 줄이기 위해 CNN 특징을 사용해 카메라 내에서 클러스터링한 후, 다중 카메라 분류 점수를 활용해 교차 카메라 유사도를 계산하는 이중 단계적 가짜 레이블링 방법인 Intra-Inter Camera Similarity(IICS)를 제안한다. 이 방법은 상태 기반 성능을 달성하여 Market1501에서 89.5%의 랭크-1 정확도를 기록하며, 이는 이전의 비지도 방법보다 9% 이상 높고, 레이블이 있는 전이 학습 방법과도 유사한 성능을 보인다.

ABSTRACT

Most of unsupervised person Re-Identification (Re-ID) works produce pseudo-labels by measuring the feature similarity without considering the distribution discrepancy among cameras, leading to degraded accuracy in label computation across cameras. This paper targets to address this challenge by studying a novel intra-inter camera similarity for pseudo-label generation. We decompose the sample similarity computation into two stage, i.e., the intra-camera and inter-camera computations, respectively. The intra-camera computation directly leverages the CNN features for similarity computation within each camera. Pseudo-labels generated on different cameras train the re-id model in a multi-branch network. The second stage considers the classification scores of each sample on different cameras as a new feature vector. This new feature effectively alleviates the distribution discrepancy among cameras and generates more reliable pseudo-labels. We hence train our re-id model in two stages with intra-camera and inter-camera pseudo-labels, respectively. This simple intra-inter camera similarity produces surprisingly good performance on multiple datasets, e.g., achieves rank-1 accuracy of 89.5% on the Market1501 dataset, outperforming the recent unsupervised works by 9+%, and is comparable with the latest transfer learning works that leverage extra annotations.

연구 동기 및 목표

• 카메라 간 특징 분포의 불일치로 인해 가짜 레이블 품질이 떨어지는 비지도(person Re-ID)에서 카메라 간 도메인 갭 문제를 해결한다.
• 유사도 계산을 카메라 내부와 교차 카메라 단계로 분해하여 가짜 레이블의 신뢰도를 향상시킨다.
• 원시 CNN 특징보다 더 강건한 특징 표현을 제공하는 다중 카메라 분류기의 분류 점수를 사용해 교차 카메라 도메인 갭을 줄인다.
• Adaptive Instance and Batch Normalization(AIBN)을 적용해 분류기의 일반화 능력을 향상시켜 교차 카메라 유사도 추정의 정확도를 높인다.
• 레이블이 있는 소스 데이터나 복잡한 데이터 증강 기법에 의존하지 않고도 완전히 비지도 ReID에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 제1단계: 각 카메라 내에서 CNN 특징를 사용해 내부 카메라 유사도를 계산하고, 공유 백본을 가진 다중 브랜치 ReID 모델을 훈련하기 위해 클러스터링을 통해 가짜 레이블을 생성한다.
• 제2단계: 각 샘플을 C개의 분류기(각 카메라별로 하나)에서의 분류 점수 벡터로 표현하며, 원시 특징보다 도메인 갭에 더 강건한 특징 표현을 제공한다.
• 분류 점수 벡터를 사용해 교차 카메라 유사도를 계산함으로써, 외관의 변동에도 불구하고 신뢰할 수 있는 카메라 간 클러스터링이 가능해진다.
• Adaptive Instance and Batch Normalization(AIBN)을 도입해 분류기의 카메라 간 일반화 능력을 향상시켜 교차 카메라 유사도의 강건성을 높인다.
• ReID 모델을 두 단계로 훈련한다: 먼저 내부 카메라 가짜 레이블을 사용하고, 그 다음 교차 카메라 가짜 레이블을 사용하여 개선된 유사도를 기반으로 특징 학습을 향상시킨다.
• 훈련 중에 재랭킹 유사도를 적용하여 성능을 추가로 향상시키되, 추론 시간에 영향을 주지 않는다.

실험 결과

연구 질문

• RQ1 유사도 계산을 카메라 내부와 교차 카메라 단계로 분해하는 것이 비지도(person Re-ID)에서 가짜 레이블의 품질을 향상시키는가?
• RQ2 다중 카메라 분류기의 분류 점수를 특징 표현으로 사용하면 카메라 간 도메인 갭의 영향을 줄일 수 있는가?
• RQ3 약한 지도 학습 환경에서 AIBN이 분류기의 카메라 간 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 내-외 카메라 유사도 방법은 원시 CNN 특징를 사용한 종단 간 유사도 계산 방식보다 Re-ID 정확도에서 어떤가?
• RQ5 완전히 비지도 방법이 레이블이 추가로 제공되는 전이 학습 방법과 유사한 성능을 달성할 수 있는가?

주요 결과

• 제안된 IICS 방법은 Market1501에서 89.5%의 랭크-1 정확도를 달성하여 최근의 모든 비지도 방법보다 9% 이상 높은 성능을 기록한다.
• DukeMTMC-ReID에서 IICS는 89.0%의 랭크-1 정확도를 기록하며, 이는 이전의 비지도 방법을 크게 뛰어넘고, 레이블이 있는 전이 학습 기반 방법과도 유사한 성능을 보인다.
• 더 도전적인 MSMT17 데이터셋에서 IICS는 레이블이 없는 데이터만을 사용해 56.4%의 랭크-1 정확도를 달성하며, 이는 이어지는 최고의 방법(NRMT)보다 11.2% 높은 성능이다.
• 코사인 유사도 대신 재랭킹 유사도를 사용할 경우, MSMT17에서 IICS의 성능은 랭크-1 73.4%로 향상되어 강화된 유사도 계산의 효과를 입증한다.
• 절단 분석 결과, 내부 카메라 단계와 교차 카메라 단계 모두 성능 향상에 기여하며, 특히 도메인 갭 감소 측면에서 교차 카메라 단계가 뛰어난 효과를 보인다.
• AIBN의 도입은 분류기의 일반화 능력을 향상시켜 더 신뢰할 수 있는 교차 카메라 유사도와 향상된 가짜 레이블 품질을 이끌어낸다.