[논문 리뷰] Body Part-Based Representation Learning for Occluded Person Re-Identification

Vladimir Somers, Christophe De Vleeschouwer외 1명|arXiv (Cornell University)|2022. 11. 07.

Video Surveillance and Tracking Methods참고 문헌 48인용 수 13

한 줄 요약

이 논문은 비순응(person re-identification)에서의 두 가지 핵심 과제인 비차별적 국소 외관과 인간의 해부학적 구조(annotation) 부족 문제를 해결하기 위해 신체 부위 기반 표현 학습 프레임워크인 BPBreID를 제안한다. 정확한 부위 정위를 위한 이중 감독 주의 모듈과, 전역 신원 정보와 국소 트리플릿 감독을 통합한 새로운 GiLt 손실 함수를 도입하여, 가림에 대한 강건성을 향상시켰으며, Occluded-Duke에서 SOTA 성능을 달성하여 mAP가 0.7% 높고, 랭크-1 정확도가 5.6% 높다.

ABSTRACT

Occluded person re-identification (ReID) is a person retrieval task which aims at matching occluded person images with holistic ones. For addressing occluded ReID, part-based methods have been shown beneficial as they offer fine-grained information and are well suited to represent partially visible human bodies. However, training a part-based model is a challenging task for two reasons. Firstly, individual body part appearance is not as discriminative as global appearance (two distinct IDs might have the same local appearance), this means standard ReID training objectives using identity labels are not adapted to local feature learning. Secondly, ReID datasets are not provided with human topographical annotations. In this work, we propose BPBreID, a body part-based ReID model for solving the above issues. We first design two modules for predicting body part attention maps and producing body part-based features of the ReID target. We then propose GiLt, a novel training scheme for learning part-based representations that is robust to occlusions and non-discriminative local appearance. Extensive experiments on popular holistic and occluded datasets show the effectiveness of our proposed method, which outperforms state-of-the-art methods by 0.7% mAP and 5.6% rank-1 accuracy on the challenging Occluded-Duke dataset. Our code is available at https://github.com/VlSomers/bpbreid.

연구 동기 및 목표

• 개별 신체 부위가 서로 다른 신원 간에 유사하게 보일 수 있는 국소 외관이 비차별적인 부분 기반 ReID 문제를 해결하기 위해.
• ReID 데이터셋에서 인간의 해부학적 구조 annotation이 부족한 문제를 해결하기 위해 외부 의미 정보를 활용해 주의 맵의 감독을 제공하기 위해.
• 가림과 모호한 국소 특징이 존재하는 상황에서도 분류 가능한 부위 기반 표현을 효과적으로 학습하기 위한 학습 체계를 설계하기 위해.
• 가림이 있는 ReID에서 부위 간 매칭을 향상시키기 위해 세분화되고 가시 부위에 특화된 특징 비교를 가능하게 하기 위해.
• 주의 기반 특징 정위와 새로운 손실 함수를 통합하여 강건성과 정확도를 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 신원 레이블과 원시적인 인간 파싱 annotation을 사용해 이중 감독을 받는 부위 주의 모듈을 제안하여 ReID에 적합한 주의 맵을 생성한다.
• 전역 신원과 연결된 특징에 대해 신원 손실을 적용하고, 국소 트리플릿 손실은 부위 기반 특징에만 적용하는 GiLt(Global-identity Local-triplet) 손실을 도입하여 국소 표현의 분류 능력을 향상시킨다.
• 가시성 인식 가중치를 사용해 부위 기반 임bedding을 융합하는 전략을 통해 검색 과정에서 가시 부위를 우선시한다.
• 이중 단계 학습 프로세스를 사용해 모델을 훈련한다: 첫 번째 단계에서는 파싱 레이블과 신원 일致성에 기반한 교차 엔트로피로 주의 모듈을 감독하고, 두 번째 단계에서는 GiLt 손실을 사용해 전체 모델을 최적화한다.
• 부드러운 주의 맵을 사용해 전역 특징 맵에 공간 풀링을 수행하여, 공간적으로 정렬되고 의미적으로 관련성이 높은 국소 표현을 추출한다.
• 부위별 분류 헤드를 갖춘 ResNet-50 백본을 사용해 부위 인식 특징의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 국소 외관이 신원 간에 비차별적일 경우, 부위 기반 ReID 모델은 어떻게 효과적으로 훈련될 수 있는가?
• RQ2 실제 부위 annotation이 없는 상황에서 외부 인간 의미 정보(예: 파싱 레이블)를 활용해 주의 맵 학습을 효과적으로 이끌 수 있는가?
• RQ3 가림 조건에서 부위 기반 ReID 모델을 훈련하기 위해 신원 손실와 트리플릿 손실의 최적 조합은 무엇인가?
• RQ4 가림과 배경 혼잡도에 대한 강건성 측면에서, 부위 기반 특징은 전역 특징보다 어떻게 비교되는가?
• RQ5 부위 특징에 직접적인 감독을 피하는 학습 체계는 비순응 ReID 시나리오에서 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 부위 기반 특징에만 트리플릿 손실을 적용하고, 전역 및 연결된 특징에 대해 신원 손실을 적용하는 제안된 GiLt 손실이, 손실 조합의 단순한 조합보다 최고의 성능을 달성한다.
• 부위 기반 특징에만 신원 손실을 적용하는 것은 가림과 비차별적 국소 특징에 민감하여 성능 저하를 초래함을 확인했으며, 이는 전용 손실의 필요성을 입증한다.
• 이중 감독 주의 모듈을 사용하면 주의 맵 품질이 크게 향상되어, 직접 포즈 추정 결과를 사용하는 것보다 더 정확하고 ReID에 적합한 부위 정위를 가능하게 한다.
• 특히 상체 부위에서 얻는 부위 기반 특징이 하체 부위보다 더 분류 능력이 뛰어나며, 하체 부위는 자주 가려지기 때문에, 가시성 인식 융합의 중요성을 확인한다.
• 모든 부위 기반 임bedding을 가시성 가중 평균으로 융합하면 최고의 성능을 달성하여, 상호 가시 부위를 함께 모델링하는 것이 비순응 ReID에 매우 중요하다는 것을 입증한다.
• Occluded-Duke 데이터셋에서 BPBreID는 이전 SOTA보다 랭크-1 정확도가 5.6% 높고, mAP가 0.7% 높아, 도전적인 가림 상황에서의 효과성을 확인한다.