[논문 리뷰] Adaptive Re-ranking of Deep Feature for Person Re-identification

Yong Liu, Lin Shang외 1명|arXiv (Cornell University)|2018. 11. 21.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 4

한 줄 요약

이 논문은 맥락 정보와 부분 특징의 다양성을 활용하여 인물 재식별 성능을 햖थ기 위해 적응형 재정렬(ARR)과 딥 퓨전(DF)을 제안한다. ARR는 재정렬 과정에서 반복적으로 맥락적 관련성을 증가시키며, DFF는 확산 과정을 통해 부분 특징을 융합한다; 이 둘은 함께 최신 기술 수준의 성능을 달성하였으며, Market에서 SPreID 대비 mAP 4.2% 향상, Duke에서 7.5% 향상되었다.

ABSTRACT

Typical person re-identification (re-ID) methods train a deep CNN to extract deep features and combine them with a distance metric for the final evaluation. In this work, we focus on exploiting the full information encoded in the deep feature to boost the re-ID performance. First, we propose a Deep Feature Fusion (DFF) method to exploit the diverse information embedded in a deep feature. DFF treats each sub-feature as an information carrier and employs a diffusion process to exchange their information. Second, we propose an Adaptive Re-Ranking (ARR) method to exploit the contextual information encoded in the features of neighbors. ARR utilizes the contextual information to re-rank the retrieval results in an iterative manner. Particularly, it adds more contextual information after each iteration automatically to consider more matches. Third, we propose a strategy that combines DFF and ARR to enhance the performance. Extensive comparative evaluations demonstrate the superiority of the proposed methods on three large benchmarks.

연구 동기 및 목표

• 심층으로 학습된 특징을 보다 효과적으로 활용하여 인물 재식별 성능을 향상시키기 위해.
• 기존 반복적 재정렬 방법이 반복 과정에서 맥락 정보를 적응적으로 증가시키지 못하는 한계를 해결하기 위해.
• 심층 특징의 다양한 부분에 임bed된 정보를 활용하여 메트릭 학습을 향상시키기 위해.
• 기존 재식별 파ip라인과 호환되며, 하이퍼파라미터에 민감하지 않은 강건한 전략을 개발하여 재식별 성능을 향상시키기 위해.

제안 방법

• 적응형 재정렬(ARR)은 유사도 그래프 상에서 동적으로 맥락적 이웃 구조를 확장하여 반복적으로 매칭을 재정렬함으로써, 더 많은 관련 샘플을 포함함.
• ARR는 유사도 그래프에 기반한 확산 과정을 통해 친화도 점수를 전파하며, 각 반복에서 맥락 정보가 증가함.
• 딥 퓨전(DFF)은 심층 특징을 부분 특징으로 분할하고, 확산 과정을 통해 이를 융합하여 상호 보완적인 정보를 통합함.
• DFF 과정은 각 부분 특징을 별도의 그래프로 모델링하고, 그래프 간 메트릭을 융합하여 통합된 개선된 거리 메트릭을 생성함.
• ARR-DFF 전략은 부분 특징 메트릭에 대해 ARR을 적용하고, 그 결과 메트릭을 DFF 방식으로 융합함으로써 상호보완적인 성능 향상을 달성함.
• 이 방법은 기존 재식별 파이프라인과 호환되며, 표준 심층 특징과 거리 메트릭을 사용하는 데 적합한 플러그 앤 플레이 구조로 설계됨.

실험 결과

연구 질문

• RQ1 반복적 재정렬을 각 반복에서 사용하는 맥락 정보의 양을 적응적으로 증가시킴으로써 더 효과적으로 만들 수 있는가?
• RQ2 심층 특징 표현 내의 부분 특징 간 다양성을 활용하여 재식별 성능을 향상시킬 수 있는가?
• RQ3 적응형 재정렬과 딥 퓨전을 결합하면 개별 구성 요소보다 우수한 성능을 낼 수 있는가?
• RQ4 하이퍼파라미터, 예를 들어 부분 특징 수 S 및 최근접 이웃 수 k에 대해 제안된 방법이 얼마나 민감한가?

주요 결과

• Market-1501 데이터셋에서 ARR-DFF는 mAP 87.6%와 R-1 정확도 91.5%를 달성하였으며, SPreID 대비 mAP에서 4.2% 포인트 향상됨.
• DukeMTMC-reID에서 ARR-DFF는 mAP 80.8%와 R-1 85.0%를 기록하였으며, SPreID 대비 mAP에서 7.5% 포인트 향상됨.
• CUHK03에서 ARR-DFF는 mAP 74.2%와 R-1 71.6%를 기록하였으며, 도전적이고 노이즈가 많은 데이터셋에서도 뛰어난 성능을 보임.
• ARR-DFF는 DFF-ARR를 항상 초월하며, Market-1501에서 R-1 정확도에서 4.2% 포인트 향상되고, mAP에서 2.8% 포인트 향상됨.
• S(부분 특징 수)와 k(최근접 이웃 수)의 다양한 값에 대해 성능이 안정적으로 유지되어 하이퍼파라미터 선택에 대해 강건함.
• DFF-ARR는 ARR-DFF에 비해 성능이 열 劣함을 보이며, 재정렬을 융합 이전에 수행하는 것이 더 효과적임을 시사함.