[논문 리뷰] Holistic Guidance for Occluded Person Re-Identification

Madhu Kiran, R. Gnana Praveen외 4명|arXiv (Cornell University)|2021. 04. 13.

Video Surveillance and Tracking Methods인용 수 11

한 줄 요약

이 논문은 외부 감독(예: 자세 추정) 없이 학생-교수 모델을 훈련하기 위해 전신 및 부분적으로 가림을 입은 데이터셋 간의 특성 분포 차이를 활용하는 통합 지도(HT) 방법을 제안한다. 노이즈 제거 오토에인코더와 분포 일치를 통한 양자 데이터 유형에서의 동시 학습을 통해 가림 영역을 집중적으로 반영하는 어텐션 맵을 생성하며, 이는 가림 및 전신 ReID 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In real-world video surveillance applications, person re-identification (ReID) suffers from the effects of occlusions and detection errors. Despite recent advances, occlusions continue to corrupt the features extracted by state-of-art CNN backbones, and thereby deteriorate the accuracy of ReID systems. To address this issue, methods in the literature use an additional costly process such as pose estimation, where pose maps provide supervision to exclude occluded regions. In contrast, we introduce a novel Holistic Guidance (HG) method that relies only on person identity labels, and on the distribution of pairwise matching distances of datasets to alleviate the problem of occlusion, without requiring additional supervision. Hence, our proposed student-teacher framework is trained to address the occlusion problem by matching the distributions of between- and within-class distances (DCDs) of occluded samples with that of holistic (non-occluded) samples, thereby using the latter as a soft labeled reference to learn well separated DCDs. This approach is supported by our empirical study where the distribution of between- and within-class distances between images have more overlap in occluded than holistic datasets. In particular, features extracted from both datasets are jointly learned using the student model to produce an attention map that allows separating visible regions from occluded ones. In addition to this, a joint generative-discriminative backbone is trained with a denoising autoencoder, allowing the system to self-recover from occlusions. Extensive experiments on several challenging public datasets indicate that the proposed approach can outperform state-of-the-art methods on both occluded and holistic datasets

연구 동기 및 목표

• 실제 감시 환경에서 특성 품질과 매칭 정확도를 떨어뜨리는 지속적인 문제인 가림 문제를 해결한다.
• 자세 추정 또는 마스크 생성과 같은 고비용 외부 감독에 의존하는 기존 방법의 한계를 극복한다.
• 전신 및 가림 데이터셋 간의 쌍별 비유사도(클래스 거리 분포)의 분포 차이를 활용하여 자기지도형 어텐션 학습을 유도한다.
• 테스트 시 추가 캐릭터 정보 없이 정체성 레이블만을 사용하는 경량이며 추론 효율성이 높은 모델을 개발하여 내성성과 배포 가능성 향상.

제안 방법

• 교수 모델이 전신 데이터셋에서 학습하여 클래스 거리 분포(DCD)를 통해 진정한 클래스 분포를 모델링한다.
• 전신 및 가림 데이터셋의 DCD 간 격차를 이용해 학생 모델이 가림 영역을 강조하는 어텐션 맵을 생성하도록 감독 신호를 제공한다.
• 노이즈 제거 오토에인코더를 활용한 공동 생성-구분형 CNN 백본을 구현하여 특성 학습 중에 가림으로부터 자가 복구 기능을 가능하게 한다.
• 정체성 손실, 재구성 손실(노이즈 제거용), 최대 평균 차이(MMD)를 조합한 다중 모odal 손실을 도입하여 전신 및 가림 데이터 간의 특성 분포를 일치시킨다.
• 추론 시 어텐션 맵을 적용하여 가림 영역의 특성 강도를 감소시키고, 가시성 있는 특징적인 부분을 강조한다.
• 훈련 시 자세 추정, 바운딩 박스 레이블, 세그멘테이션 마스크 등 추가 정보 없이 정체성 레이블만을 사용한다.

실험 결과

연구 질문

• RQ1 전신 및 가림 데이터셋 간의 쌍별 매칭 거리 분포의 분포적 차이를 활용하여 가림 ReID에서 어텐션 학습을 효과적으로 유도할 수 있는가?
• RQ2 전신 데이터 분포를 기반으로 훈련된 학생-교수 프레임워크가 외부 감독 없이도 일반화 능력과 가림에 대한 강건성을 향상시키는가?
• RQ3 노이즈 제거 오토에인코딩을 통한 공동 생성-구분형 백본이 가림 입력에서의 특성 복구를 향상시킬 수 있는가?
• RQ4 자세 추정 또는 마스크 감독에 의존하는 최신 기술 대비 정확도와 추론 효율성 측면에서 본 방법은 어떻게 비교되는가?
• RQ5 이 방법은 가림 및 비가림 ReID 벤치마크 모두에 대해 얼마나 잘 일반화되는가?

주요 결과

• 제안된 HG 방법은 Occluded-ReID 벤치마크에서 자세 추정이 필요한 방법들보다 최신 기술 수준의 성능을 달성한다.
• Market1501 및 Duke-MTMC 데이터셋에서 HG 모델은 전신 ReID 작업에서도 경쟁력 있는 정확도를 달성하여 강력한 일반화 능력을 입증한다.
• 절단 실험 결과 재구성 손실, MMD, 어텐션 학습의 조합이 최고의 성능을 내며, MMD 손실이 특성 분포 일치에 핵심적인 역할을 한다.
• 기본적인 미세조정보다 본 방법이 가림 데이터셋에서 뚜렷한 성능 향상을 보이며, 단순 데이터 증강만으로 훈련된 모델을 뛰어넘는다.
• 정성적 결과는 HG가 생성한 어텐션 맵이 머리와 다리가 가려져 있어도 가시 영역을 효과적으로 국소화함을 보여주며, PGFA와 같은 자세 기반 어텐션 방법을 능가한다.
• 최소한의 추가 파라미터로 높은 성능를 달성하며, 정체성 레이블과 소규모 어텐션 헤드만을 사용하므로 실시간 배포에 효율적이다.