[논문 리뷰] Multi-view Information Integration and Propagation for Occluded Person Re-identification

Neng Dong, Shuanglin Yan외 3명|arXiv (Cornell University)|2023. 11. 07.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 다중 시점 정보 통합 및 전파(MVI²P)라는 새로운 프레임워크를 제안한다. 이는 동일한 보행자의 다중 시점에서의 특징 맵을 융합하여 잡음에 강건하고 종합적인 표현을 생성함으로써 가림된 사람 재식별 문제를 해결한다. 선택적이고 신뢰할 수 있는 통합을 위해 CAMs 인식 지역화 및 확률 인식 정량화 기법을 활용하고, 단일 이미지 추론을 위해 지식을 전파하는 메커니즘을 도입함으로써 MVI²P는 표준 벤치마크에서 68.2%의 Rank-1 및 55.6%의 mAP 성능을 달성하여 복잡한 모델에 비해 파rameter 수가 적은 상태에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Occluded person re-identification (re-ID) presents a challenging task due to occlusion perturbations. Although great efforts have been made to prevent the model from being disturbed by occlusion noise, most current solutions only capture information from a single image, disregarding the rich complementary information available in multiple images depicting the same pedestrian. In this paper, we propose a novel framework called Multi-view Information Integration and Propagation (MVI$^{2}$P). Specifically, realizing the potential of multi-view images in effectively characterizing the occluded target pedestrian, we integrate feature maps of which to create a comprehensive representation. During this process, to avoid introducing occlusion noise, we develop a CAMs-aware Localization module that selectively integrates information contributing to the identification. Additionally, considering the divergence in the discriminative nature of different images, we design a probability-aware Quantification module to emphatically integrate highly reliable information. Moreover, as multiple images with the same identity are not accessible in the testing stage, we devise an Information Propagation (IP) mechanism to distill knowledge from the comprehensive representation to that of a single occluded image. Extensive experiments and analyses have unequivocally demonstrated the effectiveness and superiority of the proposed MVI$^{2}$P. The code will be released at \url{https://github.com/nengdong96/MVIIP}.

연구 동기 및 목표

• 단일 이미지 모델이 가림된 신체 부위와 가림 잡음으로 인해 실패하는 가림된 사람 재식별 문제를 해결하기 위해.
• 기존 단일 이미지 재식별 프레임워크에서 일반적으로 忽시되는 동일 보행자의 다중 시점에서의 상보적 정보를 활용하기 위해.
• 다중 시점 이미지에서 유의미하고 신뢰할 수 있는 정보만 선택적으로 통합하면서도 가림 잡음과 관련 없는 콘텐츠를 억제하는 방법을 개발하기 위해.
• 학습 중에 획득한 종합적인 다중 시점 표현에서 지식을 추출하여 단일 이미지 추론을 가능하게 하기 위해.
• 외부 모델이나 데이터 증강에 의존하지 않고 최소한의 모델 복잡도로 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 동일한 보행자의 다중 시점에서의 특징 맵을 요소별 덧셈을 통해 통합하여 종합적인 표현을 형성한다.
• CAMs 인식 지역화 모듈은 클래스 활성화 맵을 사용하여 신원 식별에 기여하는 특징 맵의 공간 영역을 식별하고 우선순위를 정한다.
• 확률 인식 정량화 모듈은 예측된 분류 신뢰도에 기반해 특징 맵에 동적 가중치를 할당하여 더 신뢰할 수 있는 정보에 초점을 맞춘다.
• 정보 전파(IP) 메커니즘은 추론 중에 종합적인 표현에서 단일 가림된 이미지로 지식을 전달하여 단일 이미지 추론을 가능하게 한다.
• 하이퍼파rameter λ를 사용한 지식 정렬 손실을 통해 단일 이미지 특징 표현을 종합 표현과 일치시켜 신원 정확도를 최적화한다.
• 모델은 ResNet-50을 백본으로 사용하며 추가 분류기 하나만 도입하여 파라미터 수가 적고(26.3M), 높은 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 동일한 보행자의 다중 시점 이미지에서 유도된 정보를 효과적으로 통합하여 가림된 재식별에서의 신원 표현을 향상시킬 수 있는가?
• RQ2 다중 시점 특징 통합 과정에서 잡음이나 관련 없는 정보(예: 가리키는 물체, 비대상 사람)는 어떻게 걸러낼 수 있는가?
• RQ3 통합에 사용할 최적의 시점 수는 얼마이며, 이는 성능에 어떤 영향을 미치는가?
• RQ4 종합적인 다중 시점 표현에서 유도된 지식은 단일 이미지 추론 환경으로 효과적으로 전이될 수 있는가?
• RQ5 제안된 방법은 기존 최신 기술 수준(SOTA) 접근법에 비해 더 낮은 모델 복잡도로 최신 기술 수준의 성능을 달성하는가?

주요 결과

• MVI²P는 Market-1501 벤치마크에서 68.2%의 Rank-1 정확도와 55.6%의 mAP 성능을 달성하여 베이스라인 및 기존 SOTA 방법을 모두 능가한다.
• 지식 정렬에 최적의 하이퍼파rameter λ는 0.007이며, 이는 Rank-1 및 mAP 성능을 모두 최대화한다.
• 사용자 수가 네 개일 때 가장 높은 성능를 기록하며, 두 개나 여덟 개의 시점일 경우 약간의 정확도 하락이 나타나, 정보의 풍부함과 중복 사이의 최적 균형을 이룬다.
• 단지 26.3M 파라미터로 SOTA 성능을 달성하여 FED(146.2M) 및 OPR-DAAO(58.2M)와 비교해 뚜렷한 효율성을 입증한다.
• 데이터 증강이나 외부 모델 없이도 UMTS*(51.3M 파라미터, 58.6% Rank-1) 및 IGOAS(32.6M 파라미터, 60.1% Rank-1)를 능가함으로써 그 효과성과 효율성을 입증한다.