[논문 리뷰] Learning Diverse Features with Part-Level Resolution for Person Re-Identification

Ben Xie, Xiaofu Wu외 3명|arXiv (Cornell University)|2020. 01. 21.

Video Surveillance and Tracking Methods참고 문헌 16인용 수 6

한 줄 요약

이 논문은 사람 재식별을 위한 경량 두 가지 분기 네트워크인 PLR-OSNet을 제안하며, 동일한 정체성에 대한 예측 손실을 위해 균일하게 분할된 부분 수준 특징을 하나의 벡터로 연결함으로써 특징의 다양성을 향상시킨다. 이로 인해 모델 크기가 작음에도 불구하고 Market1501, DukeMTMC-reID, CUHK03에서 최고 성능을 달성한다.

ABSTRACT

Learning diverse features is key to the success of person re-identification. Various part-based methods have been extensively proposed for learning local representations, which, however, are still inferior to the best-performing methods for person re-identification. This paper proposes to construct a strong lightweight network architecture, termed PLR-OSNet, based on the idea of Part-Level feature Resolution over the Omni-Scale Network (OSNet) for achieving feature diversity. The proposed PLR-OSNet has two branches, one branch for global feature representation and the other branch for local feature representation. The local branch employs a uniform partition strategy for part-level feature resolution but produces only a single identity-prediction loss, which is in sharp contrast to the existing part-based methods. Empirical evidence demonstrates that the proposed PLR-OSNet achieves state-of-the-art performance on popular person Re-ID datasets, including Market1501, DukeMTMC-reID and CUHK03, despite its small model size.

연구 동기 및 목표

• 기존의 부분 기반 방법이 사람 재식별을 위한 다양한 특징과 분류 가능한 특징을 학습하는 데에 한계가 있음을 해결하기 위해.
• 전역 특징 분기와 부분 수준 해상도 분기로 구성된 두 가지 분기 아키텍처를 도입하여 특징의 다양성과 모델의 효율성을 향상시키기 위해.
• 이전 방법에서 각 부분에 대해 별도의 ID 손실을 사용하는 것과 달리, 연결된 부분 특징에 대해 단일 정체성 예측 손실이 더 높은 성능을 내는지 조사하기 위해.
• 경량 네트워크 내에서 주의 모듈과 트리플릿 손실 변형의 성능 향상 효과를 평가하기 위해.

제안 방법

• 오미니 스케일 네트워크(OMNI-Scale Network, OSNet) 기반의 두 가지 분기 네트워크인 PLR-OSNet를 제안하며, 전역 특징 분기에서는 전역 최대 풀링을 사용하고, 국소 특징 분기에서는 수평 균일 분할을 통해 부분 수준 특징 해상도를 달성한다.
• 이전 방법이 각 부분에 대해 별도의 ID 손실을 사용하는 것과는 달리, 연결된 부분 수준 특징에 대해 단일 정체성 예측 손실을 적용한다.
• 공유 백본에 주의 모듈을 통합하여 특징 표현을 향상시키지만, OSNet 내재의 주의 메커니즘이 존재하므로 성능 향상 폭은 제한적이다.
• 마진 기반 거리 학습을 위해 소프트 마진 트리플릿 손실을 사용하며, 이는 CUHK03에서 하드 마진 트리플릿 손실보다 성능이 뛰어나지만, 다른 데이터셋에서는 일관되게 우수하지는 않다.
• 전역 특징 연결을 통해 견고성과 성능을 향상시키며, 추론 실험을 통해 그 긍정적 영향을 확인한다.
• 경량 OSNet 아키텍처를 활용하여 최소한의 모델 크기로도 높은 성능 유지를 한다.

실험 결과

연구 질문

• RQ1 연결된 부분 수준 특징에 대해 단일 정체성 예측 손실을 적용할 경우, 각 부분에 대해 별도의 ID 손실을 사용하는 것보다 더 높은 성능을 달성할 수 있는가?
• RQ2 전역 특징의 포함 여부가 부분 기반 재식별 모델의 성능에 어떤 영향을 미치는가?
• RQ3 PLR-OSNet와 같은 경량 네트워크에서 주의 모듈의 사용이 의미 있는 성능 향상을 가져오는가?
• RQ4 왜 소프트 마진 트리플릿 손실은 CUHK03에서는 하드 마진 트리플릿 손실보다 뛰어나지만, 다른 데이터셋에서는 일관되게 우수하지 않은가?
• RQ5 부분 수준 해상도와 전역 특징 학습을 동시에 구현하는 두 가지 분기 아키텍처가 작은 모델 크기로 최고 성능을 달성할 수 있는가?

주요 결과

• DukeMTMC-reID에서 PLR-OSNet는 랭크-1 정확도 91.6%와 mAP 81.2%를 기록하며, 더 작은 모델로도 이전 최고 성능 방법을 초월한다.
• CUHK03-Labeled에서 PLR-OSNet는 랭크-1 정확도 84.6%와 mAP 80.5%를 기록하며, 재랭킹 없이도 뛰어난 성능을 보였다.
• CUHK03-Labeled에서 전역 특징을 사용한 경우, 전역 특징이 없는 모델 대비 랭크-1 정확도가 3.4% 향상되었다.
• Market1501에서 연결된 부분 특징에 대해 단일 ID 손실을 적용한 경우, 별도의 ID 손실을 사용한 경우보다 mAP가 3.3% 높아져, 더 뛰어난 견고성을 보였다.
• CUHK03에서 소프트 마진 트리플릿 손실은 하드 마진 트리플릿 손실보다 랭크-1 정확도 6% 높고 mAP 4.6% 높게 성능을 냈으며, 이는 다른 데이터셋에서는 관찰되지 않았다.
• 주의 모듈은 일관되지만 제한적인 성능 향상을 제공하여, OSNet의 내재된 주의 메커니즘이 추가 향상의 한계를 만들고 있음을 시사한다.