[논문 리뷰] Scalable Person Re-identification on Supervised Smoothed Manifold

Song Bai, Xiang Bai외 1명|arXiv (Cornell University)|2017. 03. 24.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 46

한 줄 요약

이 논문은 사람 재식별을 위한 일반적인 후처리 프레임워크인 감독을 받은 매끄러운 다양체(Supervised Smoothed Manifold, SSM)를 제안한다. SSM은 쌍별 지도 학습과 다양체 구조를 활용하여 매끄럽고 기하학적 감지 능력을 갖춘 유사도를 학습한다. SSM은 CUHK03 및 Market-1501과 같은 대규모 벤치마크에서 기존 최고 성능(SOTA) 방법 대비 최대 29.25 mAP 향상을 이룩하며, 온라인 추론 비용이 극히 적어 실세계 구현에 매우 확장 가능하고 효과적이다.

ABSTRACT

Most existing person re-identification algorithms either extract robust visual features or learn discriminative metrics for person images. However, the underlying manifold which those images reside on is rarely investigated. That raises a problem that the learned metric is not smooth with respect to the local geometry structure of the data manifold. In this paper, we study person re-identification with manifold-based affinity learning, which did not receive enough attention from this area. An unconventional manifold-preserving algorithm is proposed, which can 1) make the best use of supervision from training data, whose label information is given as pairwise constraints; 2) scale up to large repositories with low on-line time complexity; and 3) be plunged into most existing algorithms, serving as a generic postprocessing procedure to further boost the identification accuracies. Extensive experimental results on five popular person re-identification benchmarks consistently demonstrate the effectiveness of our method. Especially, on the largest CUHK03 and Market-1501, our method outperforms the state-of-the-art alternatives by a large margin with high efficiency, which is more appropriate for practical applications.

연구 동기 및 목표

• 기존 ReID 방법들이 기저 데이터 다양체를 忽시함으로써 매끄럽지 않은 유사도 지표를 유도하는 한계를 해결하기 위해.
• 기존 특징 추출기 및 거리 학습 방법을 향상시킬 수 있는 확장 가능하고 효율적이며 일반적인 후처리 도구를 개발하기 위해.
• 학습 데이터로부터의 쌍별 지도 학습(등가 제약 조건)을 활용하여 데이터 다양체 상에서 매끄럽고 기하학적으로 일관된 유사도를 학습하기 위해.
• 대부분의 계산을 오프라인 단계로 이관하여 온라인 추론 비용을 줄임으로써 대규모 배포를 가능하게 하기 위해.

제안 방법

• SSM은 사람 재식별 문제를 데이터 다양체 상의 유사도 학습으로 모델링하며, 이는 이웃한 인스턴스 쌍의 맥락에서 유사도를 추정한다.
• 매끄러운 다양체를 통한 유사도 점수 전파를 위해 그래프 기반 수식을 사용하여 局소 기하학적 일관성을 보장한다.
• 학습 데이터로부터의 쌍별 제약 조건을 사용하여 유사도 학습 과정을 안내한다.
• 학습 단계(오프라인)와 추론 단계(온라인)를 분리하여 확장성을 확보한다.
• 온라인 비용을 줄이기 위해 저랭크 근사법과 빠른 색인 전략이라는 두 가지 가속 기법을 도입한다.
• SSM은 기존 ReID 파이프라인과 호환되는 플러그인 모듈로 설계되어, 시각적 특징과 거리 측정 방식을 사용하는 어떤 파이프라인에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 기저 데이터 다양체를 통합함으로써 사람 재식별 시스템의 강인성과 정확도를 향상시킬 수 있는가?
• RQ2 학습 데이터로부터의 쌍별 지도 학습(등가 제약 조건)을 어떻게 효과적으로 활용하여 데이터 다양체 상에서 매끄럽고 기하학적으로 감지 가능한 유사도를 학습할 수 있는가?
• RQ3 대규모 ReID 응용에 적합한 효율적인 다양체 기반 유사도 학습 방법을 개발할 수 있는가? 특히 온라인 비용을 최소화하면서 말이다.
• RQ4 SSM은 기존 ReID 모델의 핵심 아키텍처를 수정하지 않고도 얼마나 성능을 향상시킬 수 있는가?

주요 결과

• Market-1501 데이터셋에서 SSM은 단일 쿼리 평가 조건에서 기존 SOTA 대비 mAP를 29.25 포인트 향상시켰다(39.55에서 68.80으로).
• CUHK03에서 SSM은 랭크-1 정확도 76.6%와 mAP 96.1%를 달성하여, 검출된 바운딩 박스를 사용할 경우 기존 SOTA 대비 랭크-1 정확도에서 18.0 포인트 향상되었다.
• 가장 큰 데이터셋(Market-1501)에서도 SSM의 온라인 색인 비용은 1초 이내이며, 추가 비용은 오직 21.68초에 불과하여 실시간 시스템에 실용적이다.
• SSM은 다섯 개의 벤치마크에서 일관되게 성능 향상을 보이며 강력한 일반화 능력과 강인성을 입증했다.
• 낮은 온라인 추론 오버헤드를 유지하면서도 최고 성능 결과를 달성하여 확장성과 실용성을 입증했다.
• SSM은 기존 ReID 파이프라인에 원활하게 통합되어, 다양한 특징 추출기와 거리 측정 방식을 대상으로 정확도 향상을 위한 일반적인 후처리 도구로 기능한다.