[논문 리뷰] Unsupervised Tracklet Person Re-Identification

Minxian Li, Xiatian Zhu외 1명|arXiv (Cornell University)|2019. 03. 01.

Video Surveillance and Tracking Methods참고 문헌 62인용 수 5

한 줄 요약

이 논문은 쌍별 또는 신원 레이블이 전혀 필요 없는, 자동으로 생성된 레이블이 없는 트랙릿에서 엔드 투 엔드로 인물 재식별을 가능하게 하는 새로운 딥러닝 프레임워크인 비지도 트랙릿 연관 학습(UTAL)을 제안한다. 동일 카메라 내 트랙릿 구분과 다른 카메라 간 트랙릿 연관을 동시에 최적화함으로써, UTAL은 여덟 개의 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 궤적 분할과 신원 중복 문제를 다루는 데서 뛰어난 성능을 보인다.

ABSTRACT

Most existing person re-identification (re-id) methods rely on supervised model learning on per-camera-pair manually labelled pairwise training data. This leads to poor scalability in a practical re-id deployment, due to the lack of exhaustive identity labelling of positive and negative image pairs for every camera-pair. In this work, we present an unsupervised re-id deep learning approach. It is capable of incrementally discovering and exploiting the underlying re-id discriminative information from automatically generated person tracklet data end-to-end. We formulate an Unsupervised Tracklet Association Learning (UTAL) framework. This is by jointly learning within-camera tracklet discrimination and cross-camera tracklet association in order to maximise the discovery of tracklet identity matching both within and across camera views. Extensive experiments demonstrate the superiority of the proposed model over the state-of-the-art unsupervised learning and domain adaptation person re-id methods on eight benchmarking datasets.

연구 동기 및 목표

• 모든 카메라 쌍에 대해 비용이 많이 드는 쌍별 신원 레이블링이 필요한 감독형 인물 재식별의 확장성 문제를 해결하기 위해.
• 레이블이 있는 소스 도메인이나 카메라 간 신원 레이블링에 의존하지 않도록 하여, 알려지지 않은 카메라 구성이 있는 실세계 감시 환경에서의 구현을 가능하게 하기 위해.
• 레이블이 없는 영상 데이터로부터 엔드 투 엔드로 분류 가능하고 연관 가능한 트랙릿 표현을 발견하는 통합적인 딥러닝 프레임워크를 개발하기 위해.
• 부드러운 레이블링과 동시 최적화를 도입하여 트랙릿 기반 재식별에서 발생하는 궤적 분할과 신원 중복 문제를 해결하기 위해.

제안 방법

• 각각 카메라 내 트랙릿 구분(PCTD)과 카메라 간 트랙릿 연관(CCTA) 손실을 동시에 최적화하는 이중 스트림 딥러닝 아키텍처를 제안한다.
• 모호하거나 분할된 트랙릿을 다룰 수 있도록 소프트 레이블 기반 PCTD 손실을 도입하여, 카메라 간 시야에서의 신원 중복 영향을 줄인다.
• 다른 카메라에서 같은 신원의 트랙릿을 그룹화할 확률을 극대화하기 위해 CCTA 브랜치에서 대비 학습 전략을 활용한다.
• 카메라 내 신원 식별과 카메라 간 매칭을 동시에 하나의 엔드 투 엔드 네트워크에서 학습하는 다중 작업 학습 목표를 사용한다.
• 모든 이용 가능한 트랙릿을 활용하는 미분 가능 트랙릿 샘플링 전략을 적용하여, 사전 샘플링이나 도메인 특화 트랙릿 필터링이 필요 없도록 한다.
• 카메라 내 신원 레이블이 가용할 경우, 소프트 레이블을 하드 원핫 레이블로 대체함으로써 약한 감독 설정에 적응한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 트랙릿에서 어떤 신원 레이블도 없이 딥러닝 모델이 분류 가능한 인물 재식별 특징을 학습할 수 있는가?
• RQ2 카메라 내 구분과 카메라 간 연관을 동시에 최적화하는 것이 감독 없이 진짜 신원 매칭을 발견하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 실세계 감시 데이터에서 발생하는 궤적 분할과 신원 중복 문제를 어느 정도 잘 다룰 수 있는가?
• RQ4 다양한 데이터셋에서 최신 기술 수준의 비지도 및 도메인 적응 재식별 방법과 비교해 볼 때, 모델의 성능은 어떠한가?
• RQ5 제한된 카메라 내 신원 레이블이 가용할 경우, 약한 감독 신호가 모델 성능에 기여하는가?

주요 결과

• MARS 데이터셋에서 UTAL은 순위 1 정확도 49.9%와 mAP 35.2%를 달성하여 이전의 비지도 방법인 TAUDL(43.8% 및 29.1%)을 크게 앞서며 성능을 뛰어나게 했다.
• 최근 도입된 DukeTracklet 데이터셋에서 UTAL은 순위 1 정확도 43.8%와 mAP 36.6%를 기록하여 트랙릿 기반 벤치마크에서 강력한 일반화 성능을 입증했다.
• 사전 샘플링된 트랙릿이 아닌 모든 트랙릿을 사용할 경우, MARS에서 순위 1 성능이 4.8% 향상되고 mAP가 6.1% 향상되어 엔드 투 엔드 학습의 이점이 확인되었다.
• DenseNet-121을 백본으로 사용할 경우, UTAL은 MARS에서 순위 1 정확도 51.6%와 mAP 35.9%를 달성하여 고급 네트워크 아키텍처와의 호환성을 보였다.
• 약한 감독 설정에서 UTAL은 MARS에서 순위 1 정확도 59.5%와 mAP 51.7%로 향상되었으며, 이는 조그만 카메라 내 레이블이 성능 향상에 크게 기여한다는 것을 시사한다.
• DukeMTMC-VideoReID에서 일회성 레이블 없이도 UTAL은 순위 1 정확도 74.5%와 mAP 72.1%를 기록하여 동일한 비지도 설정에서 EUG 방법(72.8% 및 63.2%)을 능가했다.