[논문 리뷰] Deep Association Learning for Unsupervised Video Person Re-identification

Yanbei Chen, Xiatian Zhu외 1명|arXiv (Cornell University)|2018. 08. 22.

Video Surveillance and Tracking Methods인용 수 59

한 줄 요약

이 논문은 Deep Association Learning(DAL)을 제시합니다. 엔드-투-엔드의 비지도(video re-id) 방법으로, 동일 카메라 내 및 카메라 간 연관 손실을 함께 최적화하여 신원 라벨 없이 구분 가능한 특징을 학습하고, PRID 2011, iLIDS-VID, MARS에서 최첨단 성능을 달성합니다.

ABSTRACT

Deep learning methods have started to dominate the research progress of video-based person re-identification (re-id). However, existing methods mostly consider supervised learning, which requires exhaustive manual efforts for labelling cross-view pairwise data. Therefore, they severely lack scalability and practicality in real-world video surveillance applications. In this work, to address the video person re-id task, we formulate a novel Deep Association Learning (DAL) scheme, the first end-to-end deep learning method using none of the identity labels in model initialisation and training. DAL learns a deep re-id matching model by jointly optimising two margin-based association losses in an end-to-end manner, which effectively constrains the association of each frame to the best-matched intra-camera representation and cross-camera representation. Existing standard CNNs can be readily employed within our DAL scheme. Experiment results demonstrate that our proposed DAL significantly outperforms current state-of-the-art unsupervised video person re-id methods on three benchmarks: PRID 2011, iLIDS-VID and MARS.

연구 동기 및 목표

• 비디오 기반 인물 재식별에 필요한 확장 가능하고 라벨링된 데이터의 부족 문제를 해결하기 위해 비지도 엔드-투-엔드 CNN 접근법을 개발한다.
• 로컬 내-카메라 시공간 일관성과 글로벌 교차-카메라 순환 순위 일관성이라는 두 가지 형태의 일관성을 활용해 강인한 표현을 학습한다.
• 수동 아이덴티티 라벨링을 제거하면서 스스로 발견된 앵커를 통한 교차 카메라 트랙렛 연관성도 효과적으로 가능하게 한다.

제안 방법

• 각 카메라에 대해 x_{k,i} intra-camera 앵커와 카메라 간 고도로 연관된 intra-camera 앵커들로부터 합쳐진 cross-camera 앵커 a_{k,i}를 두 가지 형태로 도입한다.
• 두 가지 마진 기반의 top-push 연관 손실 L_I (내 카메라 순위)와 L_C (교차 카메라 순위) 를 정의하고, 동적 앵커 및 트랙렛 프레임에 대해 계산한다.
• Intra-camera 학습은 프레임 특징의 지수 이동 평균을 통해 앵커를 업데이트하고, 소스 트랙렛이 카메라 내에서 최상위로 랭크되도록 top-push를 강제한다.
• 교차 카메라 학습은 intra-camera 앵커의 순환 순위를 통해 교차 카메라 연관을 발견하고, 순환 일관성이 성립할 때 쌍으로 묶인 앵커를 교차 카메라 앵커로 합친다.
• ImageNet에서 초기화된 CNN 백본(ResNet50 또는 MobileNet)에 대해 표준 SGD/Adam 유사 최적화로 L_DAL = L_I + lambda L_C를 함께 최적화하여 엔드-투엔드로 모델을 학습한다.
• 학습 중에 교차 카메라 대응을 점진적으로 발견하고 활용하기 위해 배치 단위의 반복적 절차를 활용한다.

실험 결과

연구 질문

• RQ1 DAL은 아이덴티티 라벨 없이도 효과적인 비디오 재식별 표현을 학습할 수 있는가?
• RQ2 내 카메라의 로컬 일관성과 교차 카메라 순환 순위가 비지도 비디오 재식별을 개선하기 위한 보완적 감독으로 제공되는가?
• RQ3 공개 벤치마크에서 표준 CNN 백본으로 엔드-투-엔드 DAL이 라벨링 데이터 없이 얼마나 잘 작동하는가?
• RQ4 학습 중 교차 카메라 연관 속도는 어떻게 진전되며 이것이 재식별 성능에 어떤 영향을 미치는가?

주요 결과

• DAL은 PRID 2011, iLIDS-VID, MARS에서 비지도 영상 재식별 방법 중에서 상당히 우수한 성능을 보여준다.
• Rank-1 정확도 향상은 PRID 2011에서 4.4%, iLIDS-VID에서 15.2%, MARS에서 12.5%이다.
• 교차 카메라 연관성만으로도 이미 경쟁력 있는 결과를 내고, 내 카메라 학습과 결합하면 추가 이득이 있다.
• DAL은 백본(ResNet50 및 MobileNet) 전반에서 일관된 성능을 달성하며 표준 CNN의 활용성을 입증한다.
• 학습 중 많은 부분의 트랙렛이 교차 카메라 연관을 갖게 되며(PRID 2011에서 90%, iLIDS-VID에서 75%, MARS에서 >50%), 발견된 교차 카메라 쌍 사이의 진짜 일치율이 높다.
• 아이디 라벨이 있는 지도 학습과 비교할 때, DAL은 더 작은 데이터셋에서 비슷한 성능에 도달할 수 있고 일부 데이터셋에서는 지도 학습에 근접한 성능을 보이며 강력한 비지도 학습 능력을 강조한다.