[논문 리뷰] View Confusion Feature Learning for Person Re-identification

Fangyi Liu, Lei Zhang|arXiv (Cornell University)|2019. 10. 09.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 13

한 줄 요약

이 논문은 시각 불변 특징을 학습하기 위해 특징 추출기와 시각 분류기 간의 적대적 훈련, 특징 중심 기반 혼동, SIFT 유도 지도 학습을 통한 시각 불변 특징을 학습하는 엔드 투 엔드 딥 러닝 프레임워크인 뷰 혼동 특징 학습(VCFL)을 제안한다. VCFL은 CUHK01, CUHK03, MARKET1501에서 최신 기준 성능을 달성하였으며, 각각 mAP 점수 90.94%, 93.97%, 74.48%를 기록하여 뷰 변동에 대한 뛰어난 강건성을 입증한다.

ABSTRACT

Person re-identification is an important task in video surveillance that aims to associate people across camera views at different locations and time. View variability is always a challenging problem seriously degrading person re-identification performance. Most of the existing methods either focus on how to learn view invariant feature or how to combine view-wise features. In this paper, we mainly focus on how to learn view-invariant features by getting rid of view specific information through a view confusion learning mechanism. Specifically, we propose an end-toend trainable framework, called View Confusion Feature Learning (VCFL), for person Re-ID across cameras. To the best of our knowledge, VCFL is originally proposed to learn view-invariant identity-wise features, and it is a kind of combination of view-generic and view-specific methods. Classifiers and feature centers are utilized to achieve view confusion. Furthermore, we extract sift-guided features by using bag-of-words model to help supervise the training of deep networks and enhance the view invariance of features. In experiments, our approach is validated on three benchmark datasets including CUHK01, CUHK03, and MARKET1501, which show the superiority of the proposed method over several state-of-the-art approaches

연구 동기 및 목표

• 카메라 각도와 자세의 차이로 인해 성능이 저하되는 뷰 변동 문제를 해결하기 위해.
• 깊이 신경망 특징에서 뷰 전용 정보를 제거하여 신원 특화된 뷰 불변 특징을 학습하기 위해.
• 뷰 일반형 및 뷰 특정 모델의 장점을 융합한 통합 프레임워크를 통해 특징의 강건성을 향상시키기 위해.
• 훈련 중에 수작업으로 만든 SIFT 특징을 바구니-오프-워드 모델을 통해 유도하여 딥 특징의 품질을 향상시키기 위해.
• 다양한 상호보완적 메커니즘을 통해 뷰 혼동을 강제하는 통합 손실 함수를 개발하기 위해.

제안 방법

• 뷰 혼동 메커니즘을 도입하여, 특징 추출기와의 적대적 훈련을 통해 뷰 분류기가 카메라 뷰를 식별하지 못하도록 하여 뷰 불변 특징을 촉진한다.
• 특징 기반 혼동은 동일 신원의 서로 다른 뷰에서의 특징와 해당 클래스 중심 간의 거리를 최소화하여 달성된다.
• SIFT 특징은 척도 불변 특징 변환을 통해 추출되며, 바구니-오프-워드 표현으로 변환되어 SIFT 유도 손실을 통해 딥 네트워크를 지도한다.
• 전체 손실 함수는 트리플릿 손실, 뷰 분류기 혼동 손실, 특징 중심 혼동 손실, SIFT 유도 손실을 적응형 가중치로 조합하여 기여도를 균형 잡는다.
• 특징 추출기와 뷰 분류기를 번갈아가며 업데이트하는 적대적 훈련 전략을 사용하여 프레임워크를 엔드 투 엔드로 훈련한다.
• 이 방법은 ResNet-50 및 GoogLeNet 기반의 백본을 사용하여 세 가지 벤치마크 데이터셋(CUHK01, CUHK03, MARKET1501)에서 평가된다.

실험 결과

연구 질문

• RQ1 특징 추출기와 뷰 분류기 간의 적대적 훈련이 뷰 특화된 편향을 효과적으로 줄일 수 있는가?
• RQ2 신원 중심 특징으로의 특징 근접성 강제가 뷰 간 일반화 능력을 얼마나 향상시키는가?
• RQ3 바구니-오프-워드 모델을 통해 SIFT 특징을 통합하면 딥 특징의 뷰 불변성은 얼마나 향상되는가?
• RQ4 각 구성 요소(분류기 기반, 특징 기반, SIFT 기반 혼동)의 상대적 기여도는 무엇인가?
• RQ5 뷰 일반형 및 뷰 특정 학습 전략을 융합한 통합 프레임워크가 표준 벤치마크에서 기존 최신 기준 방법을 능가할 수 있는가?

주요 결과

• MARKET1501 데이터셋에서 VCFL은 상위-1 정확도 89.25%와 평균 평균 정밀도(mAP) 74.48%를 기록하여 베이스라인 및 다른 최신 기준 방법을 능가한다.
• SIFT 유도 혼동 구성 요소는 베이스라인 대비 MARKET1501에서 mAP를 3.37%p 향상시켜 뚜렷한 기여를 한다.
• 특징 기반 혼동 손실만으로도 MARKET1501에서 mAP가 2.29%p 향상되어 뷰 간 특징 분산 감소에 효과적임을 입증한다.
• 뷰 분류기 기반 혼동은 적대적 훈련으로 인해 안정성이 떨어지지만, 적절한 가중치 설정을 통해 상당한 기여를 하며, 뷰 불변성 촉진에 기여함을 보여준다.
• 절단 분석 결과, 뷰 혼동 메커니즘의 각 구성 요소가 긍정적인 기여를 하며, 전체 조합이 모든 데이터셋에서 최고의 성능을 낸다.
• CUHK01 및 CUHK03에서도 일관된 향상이 이루어졌으며, 각각 mAP 점수 90.94% 및 93.97%를 기록하여 다양한 데이터셋에 대한 강건성을 확인한다.