[논문 리뷰] DiP: Learning Discriminative Implicit Parts for Person Re-Identification

Dengjie Li, Siyu Chen외 2명|arXiv (Cornell University)|2022. 12. 24.

Video Surveillance and Tracking Methods인용 수 10

한 줄 요약

이 논문은 시각 Transformer 내에서 학습 가능한 토큰을 사용하여 사전 정의된 부위를 초월해 유연하고 신체에 종속되지 않는 특징을 학습하는 Discriminative Implicit Parts (DiP)를 제안한다. 은닉된 위치를 통한 기하학적 정렬과 오염에 강건한 특징을 확보하기 위한 DiP 가중치를 도입함으로써, DiP는 MSMT17, Market-1501, Duke-ReID, CUHK03 및 Occluded-Duke에서 최신 기준 성능을 달성한다.

ABSTRACT

In person re-identification (ReID) tasks, many works explore the learning of part features to improve the performance over global image features. Existing methods explicitly extract part features by either using a hand-designed image division or keypoints obtained with external visual systems. In this work, we propose to learn Discriminative implicit Parts (DiPs) which are decoupled from explicit body parts. Therefore, DiPs can learn to extract any discriminative features that can benefit in distinguishing identities, which is beyond predefined body parts (such as accessories). Moreover, we propose a novel implicit position to give a geometric interpretation for each DiP. The implicit position can also serve as a learning signal to encourage DiPs to be more position-equivariant with the identity in the image. Lastly, an additional DiP weighting is introduced to handle the invisible or occluded situation and further improve the feature representation of DiPs. Extensive experiments show that the proposed method achieves state-of-the-art performance on multiple person ReID benchmarks.

연구 동기 및 목표

• 명시적인 부위 기반 방법이 정적 분할 또는 외부 관절 힌트에 의존하는 데서 비롯하는 한계를 해결하기 위해.
• 액세서리나 의류 세부 사항과 같이 명시적인 신체 부위에 제약을 받지 않는 분류 가능한 특징을 학습하기 위해.
• 은닉된 위치를 통한 기하학적 인덕티브 바이어스를 도입함으로써 오염 및 자세 변화 상황에서도 특징 정렬과 강건성을 향상시키기 위해.
• 각 부위의 가시성과 기여도를 DiP 가중치로 모델링함으로써 세분화된 신원 비교를 향상시키기 위해.
• 외부 감독 또는 고정된 분할 없이도 여러 표준 사람 재식별 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 시각 Transformer의 입력 시퀀스에 학습 가능한, 무작위로 초기화된 토큰을 추가하여 종단 간에 분류 가능한 은닉된 부위(DiPs)를 추출한다.
• DiP와 이미지 패치 특징 간의 상관관계 기반 어텐션을 사용하여 각 DiP에 대한 은닉된 위치를 정의함으로써 기하학적 해석 가능성을 확보한다.
• 학습 가능한 헤드를 통해 DiP가 자체 은닉 위치를 예측하도록 훈련시켜, 이미지 내 신원에 대해 위치 동일성(invariant)을 유도한다.
• 각 부위의 가시성을 모델링하기 위해 DiP 가중치 메커니즘을 도입하며, 다층 퍼셉트론을 통해 가중치를 학습시켜 특징 기여도를 조절한다.
• 전역 특징 대신 가중치가 부여된 DiP 특징을 사용하는 부위 기반 거리 계산을 설계하여 세분화된 매칭을 가능하게 한다.
• 신원 손실, 유클리드 트리플릿 손실, 부위 기반 트리플릿 손실, 위치 예측 손실의 조합을 통해 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 종단 간에 학습된 은닉된 부위가 사람 재식별에서 명시적으로 정의된 또는 관절 기반 부위 특징을 능가할 수 있는가?
• RQ2 은닉된 위치가 명시적 감독 없이도 특징 국소화 및 위치 동일성 향상에 기여하는 기하학적 감독을 제공할 수 있는가?
• RQ3 DiP 가중치를 통한 부위 가시성 모델링이 오염 및 부분적 가림에 대한 강건성을 향상시키는가?
• RQ4 DiP의 수가 성능에 어떤 영향을 미치며, 용량과 일반화 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 DiP를 사용하는 부위 기반 거리 측정법이 전역 특징 매칭보다 더 나은 신원 식별 성능을 달성할 수 있는가?

주요 결과

• DiP는 MSMT17에서 83.6% R1 및 65.7% mAP를 기록하며 이전 방법들을 능가하는 최신 기준 성능을 달성한다.
• Market-1501에서 DiP는 94.5% R1 및 87.0% mAP를 달성하여 기준 모델 및 이전 최신 기준 성능에 비해 일관된 향상을 보였다.
• 제거 분석 결과, DiP 가중치가 DiP 수가 12일 때 MSMT17에서 최대 0.7% R1 및 1.8% mAP 향상을 이룬다.
• 최적의 DiP 수는 12이며, 16으로 늘어나면서 과적합으로 인해 성능이 저하됨을 확인하여 명확한 용량 트레이드오프가 있음을 시사한다.
• 시각화 결과, DiP가 명시적인 신체 부위에 국한되지 않고 스카프, 가방, 책 끈 등 분류 가능한 비신체 영역에 주목함을 확인하였다.
• DiP 가중치는 가시성과 상관관계가 있음: 가림된 영역은 낮은 가중치(예: 0.847)를 받고, 완전히 보이는 부위는 1.0의 가중치를 받음으로써 가중치 메커니즘의 타당성이 검증되었다.