[논문 리뷰] Black Re-ID: A Head-shoulder Descriptor for the Challenging Problem of Person Re-Identification

Boqiang Xu, Lingxiao He외 4명|arXiv (Cornell University)|2020. 08. 19.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 8

한 줄 요약

이 논문은 검은 옷이나 저조도 조건에서 의류 특징이 가림을 당할 경우 흔히 발생하는 상황에서 헤드숄더 특징을 활용함으로써 인물 재식별(Person Re-ID) 성능을 햖थ한 헤드숄더 적응형 어텐션 네트워크(HAA)를 제안한다. 이 방법은 전역 특징과 헤드숄더 특징을 동적으로 가중치를 주는 적응형 어텐션 모듈을 사용하여, Black-reID 및 표준 Re-ID 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 새로운 Black-reID 데이터셋에서 mAP가 4.7% 향상되었다.

ABSTRACT

Person re-identification (Re-ID) aims at retrieving an input person image from a set of images captured by multiple cameras. Although recent Re-ID methods have made great success, most of them extract features in terms of the attributes of clothing (e.g., color, texture). However, it is common for people to wear black clothes or be captured by surveillance systems in low light illumination, in which cases the attributes of the clothing are severely missing. We call this problem the Black Re-ID problem. To solve this problem, rather than relying on the clothing information, we propose to exploit head-shoulder features to assist person Re-ID. The head-shoulder adaptive attention network (HAA) is proposed to learn the head-shoulder feature and an innovative ensemble method is designed to enhance the generalization of our model. Given the input person image, the ensemble method would focus on the head-shoulder feature by assigning a larger weight if the individual insides the image is in black clothing. Due to the lack of a suitable benchmark dataset for studying the Black Re-ID problem, we also contribute the first Black-reID dataset, which contains 1274 identities in training set. Extensive evaluations on the Black-reID, Market1501 and DukeMTMC-reID datasets show that our model achieves the best result compared with the state-of-the-art Re-ID methods on both Black and conventional Re-ID problems. Furthermore, our method is also proved to be effective in dealing with person Re-ID in similar clothing. Our code and dataset are avaliable on https://github.com/xbq1994/.

연구 동기 및 목표

• 검은 옷이나 낮은 조명 조건으로 인해 의류 특징이 가려질 경우 인물 재식별의 과제를 해결한다.
• 의류 정보가 없는 경우 얼굴, 머리카락, 안경 등 구분 가능한 특징을 활용하기 위해 새로운 헤드숄더 기반 기술을 제안한다.
• 입력 이미지에 검은 옷이 포함된 경우 헤드숄더 특징에 더 많은 비중을 두도록 자동으로 조정하는 적응형 어텐션 메커니즘을 개발한다.
• 헤드숄더 기반 재식별 문제를 위한 첫 번째 벤치마크 데이터셋인 Black-reID를 구축한다. 이 데이터셋에는 1,274명의 신원이 포함되어 있으며, 검은 옷을 입은 샘플이 다수 포함되어 있다.
• 모델이 Black Re-ID 외의 표준 Re-ID 벤치마크(예: Market1501 및 DukeMTMC-reID)에서도 일반화됨을 입증한다.

제안 방법

• 전체 신체 표현을 위한 전역 스트림과 국소화된 헤드숄더 특징을 위한 헤드숄더 어텐션(HSA) 스트림을 갖춘 이중 스트림 네트워크를 설계한다.
• 기존의 포즈 추정기 대신 경량의 헤드숄더 국소화 레이어를 도입하여 효율성과 정확도를 향상시킨다.
• 입력 이미지에 검은 옷이 포함된 경우 헤드숄더 스트림에 더 높은 가중치를 할당하도록 학습하는 적응형 어텐션 모듈을 구현한다.
• HSA 스트림에서 GeM 풀링을 사용하여 동적 풀링 파라미터 p를 학습함으로써 전역 및 국소 특징 집합 간의 균형을 맞춘다.
• 삼중체 손실과 교차 엔트로피 손실을 조합한 병합 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시켜 구분 가능한 특징 학습을 유도한다.
• 입력 이미지의 내용에 따라 전역 특징과 헤드숄더 특징을 적응적으로 융합하는 앙상블 전략을 적용하여 내성 강도를 향상시킨다.

실험 결과

연구 질문

• RQ1 저조도 또는 검은 옷 조건에서 헤드숄더 특징이 의류 기반 특징의 신뢰할 수 있는 대체 수 Mittel이 될 수 있는가?
• RQ2 의류 신호가 없거나 떨어졌을 경우 딥 러닝 모델이 헤드숄더 특징을 어떻게 동적으로 우선순위를 정할 수 있는가?
• RQ3 전역 및 헤드숄더 표현 간의 적응형 특징 융합이 다양한 조명 및 의류 조건에서 Re-ID 성능에 어떤 영향을 미치는가?
• RQ4 GeM 풀링 메커니즘이 GAP 및 GMP에 비해 헤드숄더 특징의 구분 능력을 얼마나 잘 포착하는가?
• RQ5 특수화된 Black Re-ID 데이터셋에서 훈련된 모델이 표준 Re-ID 벤치마크로 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 HAA 모델은 최신 기술 수준(SOTA) 방법 대비 Black-reID 데이터셋에서 mAP가 4.7% 향상되고, 랭크-1 정확도가 4.3% 향상되었다.
• 적응형 어텐션 모듈은 Black-reID에서 mAP가 0.7% 향상되고 랭크-1 정확도가 0.5% 향상되었으며, DukeMTMC-reID에서는 각각 1.1%와 0.8% 향상되었다.
• GeM 풀링은 GAP 및 GMP를 모두 초월하여, Black-reID 데이터셋에서 GAP 대비 3.8% 향상되고 GMP 대비 1.7% 향상되었다.
• 전역 특징과 헤드숄더 특징을 적응형 어텐션으로 융합하면 전역 특징만 사용할 경우 대비 mAP가 7.8% 향상되고 랭크-1 정확도가 5.5% 향상되었다.
• 헤드숄더 특징만으로도 Black-reID에서 mAP가 34.2%, 랭크-1 정확도가 35.2%를 기록하여 전역 특징 없이도 강력한 구분 능력을 보임을 입증했다.
• 모델는 잘 일반화되어 Market1501 및 DukeMTMC-reID에서 최신 기술 수준 성능을 달성하여, Black Re-ID 설정 외부에서도 효과적임을 확인했다.