[논문 리뷰] Pose-guided Inter- and Intra-part Relational Transformer for Occluded Person Re-Identification

Zhongxing Ma, Yifan Zhao외 1명|arXiv (Cornell University)|2021. 09. 08.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 10

한 줄 요약

이 논문은 키포인트 유도 특징 그룹화와 이중 트랜스포머 모듈을 활용하여 국소적 부분 간 관계와 크로스파트 상관관계를 모델링함으로써, 가림된 사람 재식별을 위한 포즈 유도 상호 및 내부 부분 관계 트랜스포머(PIRT)를 제안한다. 이 방법은 Occluded-DukeMTMC 데이터셋에서 50.90 mAP 및 60.00% Rank-1 정확도로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Person Re-Identification (Re-Id) in occlusion scenarios is a challenging problem because a pedestrian can be partially occluded. The use of local information for feature extraction and matching is still necessary. Therefore, we propose a Pose-guided inter-and intra-part relational transformer (Pirt) for occluded person Re-Id, which builds part-aware long-term correlations by introducing transformers. In our framework, we firstly develop a pose-guided feature extraction module with regional grouping and mask construction for robust feature representations. The positions of a pedestrian in the image under surveillance scenarios are relatively fixed, hence we propose an intra-part and inter-part relational transformer. The intra-part module creates local relations with mask-guided features, while the inter-part relationship builds correlations with transformers, to develop cross relationships between part nodes. With the collaborative learning inter- and intra-part relationships, experiments reveal that our proposed Pirt model achieves a new state of the art on the public occluded dataset, and further extensions on standard non-occluded person Re-Id datasets also reveal our comparable performances.

연구 동기 및 목표

• 전체 특징이 신체 부위의 손실 또는 손상으로 인해 신뢰할 수 없게 되는 심한 가림 조건에서 사람 재식별 문제를 해결한다.
• 정확한 키포인트 검출 부족 또는 구조적 모델링 부족으로 인해 잘못된 국소적 특징에 의존하는 기존 방법의 한계를 극복한다.
• 이중 브랜치 트랜스포머 아키텍처를 통해 포즈 유도 국소적 특징과 장거리 의존성을 융합하여 특징 표현을 향상시킨다.
• 어 attention 메커니즘을 사용하여 내부 부분(국소적) 및 외부 부분(크로스파트) 관계를 모델링함으로써 가림에 대한 강건성을 향상시킨다.
• 표준 Re-ID 데이터셋으로의 일반화 능력도 확보하면서, 가림된 Re-ID 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 사전 학습된 키포인트 검출기를 사용하여 신체 부위를 국소화하고, 키포인트 영역을 더 큰 마스크로 확장하여 강건한 특징 학습을 위한 포즈 유도 특징 추출 모듈을 도입한다.
• 키포인트 영역을 세 가지 의미적 부분 그룹(예: 머리, 흉부, 다리)으로 그룹화하여 안정적이고 맥락 인식 특징을 형성한다.
• 마스크 유도 특징과 자기 어텐션을 사용하여 각 그룹화된 부분 내의 국소적 상관관계를 학습하는 내부 부분 관계 트랜스포머를 설계한다.
• 각 부분 노드 간의 크로스 어텐션을 사용하여 그룹화된 부분 간의 크로스파트 관계를 모델링하는 외부 부분 관계 트랜스포머를 개발한다.
• 일관성 있는 매칭 결정을 향상시키기 위해 쿼리 및 갤러리 이미지의 신뢰도 점수를 통합한다.
• 전역 및 국소적 특징 표현을 최적화하기 위해 트리플릿 손실과 크로스엔트로피 손실의 조합을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 어떻게 포즈 유도 국소적 특징를 효과적으로 그룹화하고 강화하여 가림 조건에서도 강건성을 향상시킬 수 있는가?
• RQ2 트랜스포머를 통한 내부 부분 및 외부 부분 관계 모델링이 가림된 Re-ID에서 특징 표현을 얼마나 향상시킬 수 있는가?
• RQ3 이 작업에서 정확도와 계산 효율성의 균형을 고려할 때 최적의 트랜스포머 유닛 수는 얼마인가?
• RQ4 쿼리 및 갤러리 이미지의 신뢰도 점수가 부분적 가림 조건에서 매칭 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 가림된 데이터셋을 초월하여 표준 Re-ID 벤치마크에서도 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• 제안된 PIRT 모델은 Occluded-DukeMTMC 데이터셋에서 50.90% mAP 및 60.00% Rank-1 정확도로 새로운 최신 기술 수준(SOTA) 성능을 달성한다.
• 제거 실험 결과, 내부 부분 및 외부 부분 관계 트랜스포머를 모두 사용할 경우 가장 높은 성능를 기록하며, 하나만 또는 둘 다 사용하지 않은 모델보다 뛰어난 성능를 보인다.
• 쿼리 및 갤러리 이미지의 신뢰도 점수를 모두 사용할 경우, 점수를 사용하지 않은 경우에 비해 mAP에서 2.71% 향상된 정확도를 기록한다.
• 세 개의 트랜스포머 유닛을 사용한 모델가 최적의 성능를 기록하며, 더 깊은 네트워크(예: 네 단위)는 훈련 불안정성으로 인해 mAP가 약간 감소하는 경향을 보였다.
• 비가림 데이터셋으로의 일반화 능력이 뛰어나, 표준 Re-ID 벤치마크에서 기존 SOTA 방법과 비교해도 경쟁적인 결과를 기록한다.
• 시각화 결과는 내부 부분 관계 모듈이 그룹화된 신체 부위 내에서 국소적 구조 패턴을 효과적으로 포착하여 분류 가능한 특징 학습을 향상시킨다는 것을 확인한다.