[논문 리뷰] Intra-Camera Supervised Person Re-Identification

Xiangping Zhu, Xiatian Zhu외 4명|arXiv (Cornell University)|2020. 02. 12.

Video Surveillance and Tracking Methods참고 문헌 51인용 수 6

한 줄 요약

이 논문은 각 카메라별로 독립적인 레이블을 사용하여 비용이 많이 드는 교차 카메라 신원 레이블링을 제거하는 새로운 패러다임인 내부 카메라 지도 학습(Intra-Camera Supervised, ICS)을 제안한다. 다중 작업 다중 레이블 임베딩(Multi-task Multi-label Embedding, MATE) 프레임워크를 도입하여 다중 작업 학습 환경에서 자율적으로 교차 카메라 신원 대응 관계를 학습한다. 이로 인해 Market-1501에서 88.7%의 랭크-1 정확도를 달성했으며, 이는 무 supervision 모델을 능가하고 완전 supervision 성능에 가까워지며 레이블링 비용을 크게 절감한 결과이다.

ABSTRACT

Existing person re-identification (re-id) methods mostly exploit a large set of cross-camera identity labelled training data. This requires a tedious data collection and annotation process, leading to poor scalability in practical re-id applications. On the other hand unsupervised re-id methods do not need identity label information, but they usually suffer from much inferior and insufficient model performance. To overcome these fundamental limitations, we propose a novel person re-identification paradigm based on an idea of independent per-camera identity annotation. This eliminates the most time-consuming and tedious inter-camera identity labelling process, significantly reducing the amount of human annotation efforts. Consequently, it gives rise to a more scalable and more feasible setting, which we call Intra-Camera Supervised (ICS) person re-id, for which we formulate a Multi-tAsk mulTi-labEl (MATE) deep learning method. Specifically, MATE is designed for self-discovering the cross-camera identity correspondence in a per-camera multi-task inference framework. Extensive experiments demonstrate the cost-effectiveness superiority of our method over the alternative approaches on three large person re-id datasets. For example, MATE yields 88.7% rank-1 score on Market-1501 in the proposed ICS person re-id setting, significantly outperforming unsupervised learning models and closely approaching conventional fully supervised learning competitors.

연구 동기 및 목표

• 기존 완전 supervision 기반의 인식 재식별에서 요구하는 광범위한 교차 카메라 신원 매칭으로 인한 높은 레이블링 비용 문제를 해결하기 위해.
• 카메라 수와 신원 수의 제곱에 비례하여 증가하는 교차 카메라 신원 레이블링의 부담을 줄이기 위해.
• 모든 카메라에서 독립적인 신원 레이블링에 의존하는 확장 가능한 재식별 프레임워크를 개발하기 위해.
• 명시적인 교차 카메라 레이블 없이도 교차 카메라 신원 대응 관계를 자율적으로 탐색할 수 있는 딥 러닝 모델을 설계하기 위해.
• ICS Re-ID와 MATE가 완전 supervision 방법에 가까운 성능을 달성하면서도 무 supervision 대비 훨씬 더 비용 효율적인지 입증하기 위해.

제안 방법

• 각 카메라 시각에서 별도의 클래스 공간을 사용하여 독립적으로 신원 레이블을 할당하는 내부 카메라 지도 학습(ICS) 재식별 패러다임을 제안한다.
• 다중 작업 다중 레이블 임베딩(MATE) 모델을 도입하며, 다중 작업 학습을 통해 각 이미지의 여러 카메라 시각에서 다중 신원 레이블을 예측하도록 훈련하는 딥 네ural 네트워크이다.
• 모든 카메라를 동시에 예측할 수 있는 다중 레이블 분류 헤드를 활용하여, 다양한 시각 간의 전이적 대응 관계를 가능하게 한다.
• 모델이 서로 다른 카메라에서 동일한 신원로 간주하는 경우, 특징을 유사하게 만드는 대비 손실 함수를 사용한다.
• 동적 임계값을 적용한 커리큘럼 학습 전략을 도입하여 훈련 과정에서 점진적으로 신원 대응 관계를 정밀화한다.
• 명시적인 전이 연결 모델링 없이도 다중 카메라 시각 간의 암묵적 전이 추론을 활용하여 교차 카메라 신원 탐색을 강화한다.

실험 결과

연구 질문

• RQ1 교차 카메라 신원 매칭이 필요 없이 단지 카메라별로만 신원 레이블이 제공되는 경우, 재식별 모델이 높은 성능을 달성할 수 있는가?
• RQ2 명시적인 교차 카메라 레이블이 없는 상황에서 다중 작업 다중 레이블 학습 프레임워크가 교차 카메라 신원 대응 관계를 얼마나 효과적으로 탐색할 수 있는가?
• RQ3 제안된 ICS 패러다임은 기존 완전 supervision 기반 Re-ID에 비해 레이블링 비용을 얼마나 줄이는가?
• RQ4 ICS 환경에서 MATE 모델의 성능은 무 supervision 및 완전 supervision 기반 베이스라인과 비교해 어떻게 되는가?
• RQ5 전이 추론과 커리큘럼 학습이 ICS 프레임워크 내에서 신원 대응의 정확성과 견고성에 미치는 영향은 어떠한가?

주요 결과

• MATE 모델은 ICS Re-ID 설정 하에서 Market-1501에서 88.7%의 랭크-1 정확도를 달성했으며, 이는 모든 무 supervision 및 도메인 적응 기반 베이스라인을 크게 능가한다.
• MSMT17에서 ICS 설정 하에 MATE를 적용한 결과, 랭크-1 46.0%, mAP 19.1%를 기록했으며, 이는 단지 카메라별 레이블만 사용했음에도 불구하고 무 supervision 및 트래킹 기반 방법을 능가한다.
• MSMT17의 일부 데이터셋에서 714명의 신원에 대해 ICS Re-ID의 레이블링 비용은 2.5명일로 줄었으며, 이는 완전 supervision 설정 대비 8명일로에서 3.2배 감소한 것으로, 노력의 절감 효과가 뚜렷하다.
• MATE 모델의 성능은 하이퍼파rameter 변화에 대해 안정적이며, 손실 가중치 λ와 커리큘럼 임계값에 대해 넓은 만족 범위를 보이며, 훈련의 안정성과 용이성을 입증한다.
• 명시적으로 전이적 신원 대응 관계를 모델링할 경우 88.9%/71.2%의 R1/mAP 성능을 기록했으며, 암묵적으로 이러한 관계를 탐색한 결과와 거의 동일한 88.7%/71.1% 성능을 달성하여 암묵적 전이성이 충분하고 더 효율적임을 확인한다.
• ICS 패러다임은 카메라 간 병렬 레이블링을 가능하게 하여 충돌을 제거하고 조율 오버헤드를 줄이며, 대규모 감시 배치에 있어 확장성을 향상시킨다.