[논문 리뷰] Re-ranking Person Re-identification with k-reciprocal Encoding

Zhun Zhong, Liang Zheng외 2명|arXiv (Cornell University)|2017. 01. 29.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 106

한 줄 요약

이 논문은 k-reciprocal neighbor encoding, Jaccard distance, local query expansion, 및 원래 거리와의 융합을 사용하여 대규모 데이터셋에서 재랭킹을 개선하는 사람 재식별을 위한 완전 자동 비지도 재랭킹 방법을 도입합니다.

ABSTRACT

When considering person re-identification (re-ID) as a retrieval process, re-ranking is a critical step to improve its accuracy. Yet in the re-ID community, limited effort has been devoted to re-ranking, especially those fully automatic, unsupervised solutions. In this paper, we propose a k-reciprocal encoding method to re-rank the re-ID results. Our hypothesis is that if a gallery image is similar to the probe in the k-reciprocal nearest neighbors, it is more likely to be a true match. Specifically, given an image, a k-reciprocal feature is calculated by encoding its k-reciprocal nearest neighbors into a single vector, which is used for re-ranking under the Jaccard distance. The final distance is computed as the combination of the original distance and the Jaccard distance. Our re-ranking method does not require any human interaction or any labeled data, so it is applicable to large-scale datasets. Experiments on the large-scale Market-1501, CUHK03, MARS, and PRW datasets confirm the effectiveness of our method.

연구 동기 및 목표

• 레이블 데이터나 인간의 개입 없이도 수행할 수 있는 재-ID에서 중요한 것이지만 충분히 탐구되지 않은 단계로서 재랭킹의 필요성을 제시한다.
• 네트워크 재랭킹을 견고하게 캡처하기 위한 이웃 정보를 포착하는 k-reciprocal 인코딩 방법을 제안한다.
• k-reciprocal 기반 Jaccard 거리와 원래 appearance 거리를 결합하여 견고한 거리 측정을 개발한다.
• 추가 감독 없이도 다수의 대규모 재-ID 데이터셋에서 성능을 향상시킨다.
• 대규모 갤러리에 적합한 실용적이고 확장 가능한 비지도 재랭킹 프레임워크를 제공한다.

제안 방법

• probe와 gallery 사이의 원래 쌍 간 거리를 계측하는 방법은 측정(metrics)을 사용한다(예: Mahalanobis).
• k-reciprocal 이웃을 정의하고 구조화된 확장 규칙을 통해 R*(p,k)로 확장한다.
• 이웃 존재를 가우시안 거리 기반 가중치로 인코딩하여 k-reciprocal 집합을 가중 벡터 Vp로 표현한다.
• 인코딩된 벡터를 사용하여 p와 gallery 이미지 gi 사이의 Jaccard 유사 거리 dJ(p, gi)를 계산한다.
• 로컬 쿼리 확장을 적용하여 probe의 k-최근접 이웃들에 걸쳐 Vg를 평균화함으로써 Vp를 보강한다(선택적).
• 가중 합 d*(p, gi) = (1 - λ) dJ(p, gi) + λ d(p, gi)로 거리들을 융합하고 이에 따라 재랭킹한다.
• 강건성 및 성능을 위해 매개변수 선택(k1, k2, λ)을 분석한다.

실험 결과

연구 질문

• RQ1 k-reciprocal 인코딩이Baseline 및 기존 재랭킹 방법에 비해 재-ID 재랭킹을 향상시키는가?
• RQ2 제안된 Jaccard 기반 거리가 원래 거리와 융합될 때의 상호 작용은 어떠하며 융합 가중치 λ의 효과는 무엇인가?
• RQ3 메서드는 다양한 대규모 데이터셋에서 비지도 설정에서 효과적인가(이미지 기반 및 비디오 기반 모두)?
• RQ4 이웃 크기 k1, k2 및 로컬 확장이 성능과 강건성에 미치는 영향은 무엇인가?
• RQ5 탐지-재-ID 파이프라인과 같은 End-to-End로 일반화될 수 있는가?

주요 결과

• 이 방법은 Market-1501, CUHK03, MARS, PRW에서 일관되게 rank-1 정확도와 mAP를 향상시킨다.
• 제안된 재랭킹과 결합될 때 IDE(R) 기준선에서 Market-1501의 rank-1 및 mAP에서 최첨단 결과를 달성한다.
• ResNet-50과 같은 강력한 특징과 결합될 때 큰 이점을 얻으며 AQE, CDM 등 기존 재랭킹 기법을 능가한다.
• 로컬 쿼리 확장과 k-reciprocal 특징 인코딩은 양성 이웃을 확장하고 더 가깝운 이웃에 더 큰 가중치를 주어 강건성을 높인다.
• Jaccard 기반 거리와 원래 거리를 융합하면 최종 랭킹이 견고해지며 단독으로 사용될 때도 효과적인 개선이 가능하고(λ = 0), 융합을 통해 추가 이득이 발생한다(λ 약 0.3).
• 여러 데이터셋(Market-1501, CUHK03, MARS, PRW)에서의 실험은 광범위한 적용 가능성을 보여주며 엔드 투 엔드 탐지–재-ID 시나리오를 포함한다.