[논문 리뷰] Deep Hybrid Similarity Learning for Person Re-identification

Jianqing Zhu, Huanqiang Zeng외 4명|arXiv (Cornell University)|2017. 02. 16.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 4

한 줄 요약

이 논문은 깊이 신경망 기반의 사람 재식별을 위한 Deep Hybrid Similarity Learning (DHSL)을 제안한다. 이 방법은 깊이 특징의 원소별 절대 차이와 곱셈의 조합으로부터 하이브리드 유사도 함수를 학습하여 유사도 측정을 향상시킨다. 경량의 3개의 합성곱층으로 구성된 네트워크를 사용하여 최신 기술 수준의 성능를 달성하면서도 이전 방법들보다 훨씬 빠른 추론 속도를 확보한다.

ABSTRACT

Person Re-IDentification (Re-ID) aims to match person images captured from two non-overlapping cameras. In this paper, a deep hybrid similarity learning (DHSL) method for person Re-ID based on a convolution neural network (CNN) is proposed. In our approach, a CNN learning feature pair for the input image pair is simultaneously extracted. Then, both the element-wise absolute difference and multiplication of the CNN learning feature pair are calculated. Finally, a hybrid similarity function is designed to measure the similarity between the feature pair, which is realized by learning a group of weight coefficients to project the element-wise absolute difference and multiplication into a similarity score. Consequently, the proposed DHSL method is able to reasonably assign parameters of feature learning and metric learning in a CNN so that the performance of person Re-ID is improved. Experiments on three challenging person Re-ID databases, QMUL GRID, VIPeR and CUHK03, illustrate that the proposed DHSL method is superior to multiple state-of-the-art person Re-ID methods.

연구 동기 및 목표

• CNN 기반 사람 재식별 방법에서 특징 학습과 메트릭 학습 간의 불균형을 해결하기 위해.
• 깊이 특징의 절대 차이와 곱셈을 조합한 학습 가능한 하이브리드 유사도 함수를 설계하여 유사도 측정을 향상시키기 위해.
• 특징 학습 및 메트릭 학습 모듈의 파라미터 효율성을 최적화하여 대규모 학습 데이터에 대한 의존도를 줄이기 위해.
• 낮은 추론 비용으로도 높은 정확도를 달성하여 실시간 배포가 가능하도록 하기 위해.

제안 방법

• 계산 비용을 최소화하기 위해 특징 추출을 위해 단지 세 개의 합성곱층으로 구성된 경량 CNN을 사용한다.
• 각 이미지 쌍에 대해 네트워크는 특징 쌍을 추출하고, 특징의 원소별 절대 차이와 원소별 곱셈을 모두 계산한다.
• 결합된 차이 및 곱셈 특징을 최종 유사도 점수로 투영하기 위해 학습 가능한 가중치 계수 세트를 적용하여 하이브리드 유사도 함수를 학습한다.
• 학습 중에 종단 간 최적화를 통해 단순 유클리드나 코사인 거리보다 더 뛰어난 분류 능력을 향상시키기 위해 하이브리드 유사도 함수를 최적화한다.
• 특징 학습과 메트릭 학습을 동시에 최적화하여 차원 축소나 후처리가 필요 없도록 한다.
• 클래스 간 분離를 향상시키기 위해 표준 백프로파게이션과 함께 트리플릿 손실 또는 대비 손실을 사용하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 절대 차이와 곱셈을 조합한 학습 가능한 하이브리드 유사도 함수가 기존의 표준 거리 측정 방식보다 사람 재식별 정확도를 향상시킬 수 있는가?
• RQ2 단지 세 개의 합성곱층으로 구성된 경량 CNN이 계산 비용을 줄이면서도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ3 제안된 방법의 성능는 다양한 학습 데이터셋 크기 변화에 따라 어떻게 변화하는가?
• RQ4 DHSL의 추론 속도는 특징 추출 및 유사도 계산 측면에서 최신 기술 수준의 재식별 방법들과 비교해 볼 때 어떻게 되는가?

주요 결과

• QMUL GRID 데이터셋에서, DHSL는 단지 200명의 학습 대상자로도 Rank-1 정확도 44.87%를 달성하여 MLAPG, XQDA, MRank-RankSVM와 같은 방법들을 능가했다.
• VIPeR 데이터셋에서 DHSL는 316명의 학습 대상자로 44.87%의 Rank-1 정확도를 기록하여 KISSME, DML, IDLA를 능가했으며, MTL-LORAE 및 Deep RDC와 동등하거나 이를 초월했다.
• QMUL GRID에서 단지 75명의 학습 대상자로도 XQDA 및 MRank-RankSVM보다 더 뛰어난 성능를 기록하여 낮은 데이터 의존도를 입증했다.
• CPU에서 DHSL의 특징 추출 시간(FET)은 이미지당 4.9781ms로, LOMO의 10.1297ms보다 절반 이하이며, JSTL+DGD의 111.0322ms의 4.48%에 불과했다.
• CPU에서 DHSL의 유사도 계산 시간(SCT)은 쌍당 0.0373ms로, JSTL+DGD의 5.9347ms보다 훨씬 빠르게 기록되었다.
• DHSL의 총 FET + SCT는 LOMO의 시간보다 절반 이하이며, CPU에서 JSTL+DGD의 FET의 9.28%에 불과하여 높은 효율성을 확인했다.