[논문 리뷰] Divide and Fuse: A Re-ranking Approach for Person Re-identification

Rui Yu, Zhichao Zhou외 2명|arXiv (Cornell University)|2017. 08. 11.

Video Surveillance and Tracking Methods참고 문헌 10인용 수 21

한 줄 요약

이 논문은 사람 재식별을 위한 새로운 비지도 재순서 정렬 프레임워크인 '분할하고 융합하기'(Divide and Fuse, DaF)를 제안한다. 이 방법은 깊은 컨volution 네트워크 특징을 부분 특징으로 나누고, 반복적으로 맥락 정보를 인코딩하며 결과를 융합함으로써 검색 정확도를 향상시킨다. 이 방법은 Market-1501에서 최신 기준 성능을 달성하여 기준 모델 대비 mAP를 2.32% 향상시켜 72.42%를 기록한다.

ABSTRACT

As re-ranking is a necessary procedure to boost person re-identification (re-ID) performance on large-scale datasets, the diversity of feature becomes crucial to person reID for its importance both on designing pedestrian descriptions and re-ranking based on feature fusion. However, in many circumstances, only one type of pedestrian feature is available. In this paper, we propose a "Divide and use" re-ranking framework for person re-ID. It exploits the diversity from different parts of a high-dimensional feature vector for fusion-based re-ranking, while no other features are accessible. Specifically, given an image, the extracted feature is divided into sub-features. Then the contextual information of each sub-feature is iteratively encoded into a new feature. Finally, the new features from the same image are fused into one vector for re-ranking. Experimental results on two person re-ID benchmarks demonstrate the effectiveness of the proposed framework. Especially, our method outperforms the state-of-the-art on the Market-1501 dataset.

연구 동기 및 목표

• 다양한 보완 특징이 없는 상황에서 사람 재식별 정확도를 향상시키기 위해.
• 단일 고차원 깊은 특징 벡터 내의 다양성을 재순서 정렬에 활용하기 위해.
• 추가 학습이나 특징이 필요 없이 순서를 향상시킬 수 있는 효율적인 비지도 재순서 정렬 방법을 개발하기 위해.
• 부분 특징의 반복적 맥락 인코딩이 거리 학습과 검색 성능에 어떻게 향상되는지 조사하기 위해.

제안 방법

• 단일 깊은 특징 벡터(예: 2,048차원 ResNet)를 L개의 부분 특징으로 나누어 다양성을 도입한다.
• k1개의 가장 가까운 이웃과 그들의 k2개 이웃으로부터 유사도를 조합하는 퍼지 집합 연산자를 사용해 반복적 특징 인코딩을 적용한다.
• 이웃 인식 전환을 통해 맥락 정보를 새로운 특징에 인코딩하여 분류 능력을 향상시킨다.
• 학습된 융합 전략을 사용해 모든 인코딩된 부분 특징을 조합하여 최종 융합 특징 벡터를 형성한다.
• 효율적인 희소 벡터 매칭을 위해 역색인을 사용하며, 이로 인해 빠른 추론(1개 쿼리당 0.12초)이 가능해진다(Market-1501 기준).
• 이 방법은 완전히 비지도이며, 어떤 초기 순서 정렬 목록에도 후처리 단계로 적용할 수 있다.

실험 결과

연구 질문

• RQ1 단일 깊은 특징 벡터 내에 효과적으로 다양성을 도입하여 재순서 정렬 성능을 향상시킬 수 있는가?
• RQ2 이웃 정보의 반복적 인코딩이 사람 재식별에서 특징 표현에 어떻게 기여하는가?
• RQ3 최대 성능을 내기 위해 부분 특징 수(L), 이웃 크기(k1, k2), 융합 가중치(α)의 최적 구성은 무엇인가?
• RQ4 순수하게 비지도이자 특징에 종속되지 않는 재순서 정렬 프레임워크가 기존 최신 기준 방법을 능가할 수 있는가?

주요 결과

• 제안된 '분할하고 융합하기' 프레임워크는 Market-1501 데이터셋에서 mAP 72.42%를 달성하여 기준 모델 대비 2.32% 향상되었다.
• 이 방법은 Market-1501에서 최신 기준 재순서 정렬 기법을 능가하며, 실제 벤치마크에서의 효과성을 입증했다.
• 최적의 부분 특징 수 L는 약 10으로, 다양성과 부분 특징 차원 수의 균형을 맞춰 분류 능력을 유지하는 데 기여한다.
• 최적의 융합 가중치 α는 0.4로, 제안된 퍼지 집합 연산자가 산술 평균(α=1)보다 우수함을 보여준다.
• k1=20 및 k2=4일 때 최고의 성능를 기록했으며, 이는 이웃 향상이 소음을 피하기 위해 가까운 이웃에 집중되어야 함을 시사한다.
• 반복적 인코딩은 mAP를 71.22%에서 72.42%로 향상시켰으며, 두 번 이상의 반복에서는 수익 감소가 나타나므로 두 번의 반복이 실용적인 선택이다.