[논문 리뷰] On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification

Yunqi Miao, Nianchang Huang외 3명|arXiv (Cornell University)|2022. 01. 11.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 시야-적외선 신원 재확인(VI-ReID) 성능을 햖थ기 위해 자세 추정을 보조 작업으로 활용하는 새로운 이중 스트림 프레임워크를 제안한다. 지식 정착을 통한 계층적 특징 제약을 통해 자세 추정과 ReID를 공동으로 훈련함으로써, 모odal 공유 및 정체성 관련 특징을 학습하며 RegDB에서 20% mAP 향상으로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Visible-infrared person re-identification (VI-ReID) has been challenging due to the existence of large discrepancies between visible and infrared modalities. Most pioneering approaches reduce intra-class variations and inter-modality discrepancies by learning modality-shared and ID-related features. However, an explicit modality-shared cue, i.e., body keypoints, has not been fully exploited in VI-ReID. Additionally, existing feature learning paradigms imposed constraints on either global features or partitioned feature stripes, which neglect the prediction consistency of global and part features. To address the above problems, we exploit Pose Estimation as an auxiliary learning task to assist the VI-ReID task in an end-to-end framework. By jointly training these two tasks in a mutually beneficial manner, our model learns higher quality modality-shared and ID-related features. On top of it, the learnings of global features and local features are seamlessly synchronized by Hierarchical Feature Constraint (HFC), where the former supervises the latter using the knowledge distillation strategy. Experimental results on two benchmark VI-ReID datasets show that the proposed method consistently improves state-of-the-art methods by significant margins. Specifically, our method achieves nearly 20$\%$ mAP improvements against the state-of-the-art method on the RegDB dataset. Our intriguing findings highlight the usage of auxiliary task learning in VI-ReID.

연구 동기 및 목표

• 시야-적외선 신원 재확인(VI-ReID)에서 큰 모달 간 격리와 내부 클래스 변동성을 해결하기 위해.
• 일조 및 시점 변화에 강건한 자세 추정을 통해 신체 관절을 명시적인 모달 공유 특징으로 활용하기 위해.
• 전역 및 국소 특징 학습 간 일관성을 강제하여 계층적 감독을 통해 전역과 국소 특징 학습을 동기화하기 위해.
• End-to-end 방식으로 ReID와 자세 추정을 공동으로 훈련시켜 특징의 구분 능력을 향상시키기 위해.
• 보조 작업 학습과 지식 정착을 통해 벤치마크 VI-ReID 데이터셋에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 신체 관절에서 모달 공유 특징을 추출하기 위해 보조 작업으로 자세 추정 브랜치(PEB)를 도입한다.
• ReID와 자세 추정 작업이 상호로 감독하도록 공동 훈련 전략을 적용하여 특징의 구분 능력을 향상시킨다.
• 지식 정착을 통해 계층적 특징 제약(HFC)을 적용하며, 전역 특징이 국소 부위 특징을 감독하여 일관성을 확보한다.
• 다중 손실 목적 함수를 사용: 정체성 손실($L_{id}$), 이종 중심 트리플릿 손실($L_{hctri}$), 자세 추정 손실($L_{pose}$), 지식 정착 손실($L_{KD}$).
• 다양한 실험을 통해 손실 가중치를 최적화하여 최고의 성능을 내기 위해 $eta=0.1$, $ heta=5$, $ ho=1$를 선택한다.
• Grad-CAM을 사용해 주의 맵을 시각화하여 특징이 임의의 이미지 패치가 아니라 관절 영역에 집중되어 있음을 확인한다.

실험 결과

연구 질문

• RQ1 자세 추정은 시야-적외선 신원 재확인에서 특징 학습을 향상시키는 효과적인 보조 작업으로 기능할 수 있는가?
• RQ2 전역 및 국소 특징을 효과적으로 동기화하여 구분 능력 있는 표현 학습을 향상시킬 수 있는가?
• RQ3 모달 공유 자세 관절이 VI-ReID에서 모달 간 격리 문제를 어느 정도 줄이는가?
• RQ4 전역 특징과 부위 수준 특징 간 지식 정착이 특징 일관성과 성능 향상에 기여하는가?
• RQ5 ReID와 자세 추정을 공동 최적화하면 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 RegDB 데이터셋에서 최신 기술 수준 방법 대비 20% mAP 향상을 기록했으며, All-search 설정에서 87.88% mAP를 달성했다.
• SYSU-MM01 데이터셋에서는 $f_{ALL}$ 기준 64.52% mAP를 기록했으며, $f_{ID}$를 사용할 경우 기준선 대비 3.83% 향상되었다.
• 자세 추정 브랜치(PEB)만으로도 RegDB에서 mAP가 4% 향상되었고, SYSU-MM01에서는 2% 향상되어 그 효과를 입증했다.
• 계층적 특징 제약(HFC)은 RegDB에서 mAP를 3.72% 향상시키고, SYSU-MM01에서는 2% 향상시켜 특징 일관성에 기여함을 확인했다.
• Grad-CAM 시각화 결과 모델이 무작위 이미지 영역이 아닌 신체 관절 영역에 집중하고 있음을 확인하여 주의 메커니즘이 타당함을 검증했다.
• 최적의 손실 가중치 조합 $eta=0.1$, $ heta=5$, $ ho=1$는 두 데이터셋에서 안정적인 수렴과 최고의 성능을 보장한다.