[논문 리뷰] Viewpoint-Aware Loss with Angular Regularization for Person Re-Identification

Zhihui Zhu, Xinyang Jiang외 5명|arXiv (Cornell University)|2019. 12. 03.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 11

한 줄 요약

이 논문은 시점에 민감한 속성을 고려한 새로운 방법인 각도 정규화를 통한 시점 인식 손실(VC-reID)을 제안한다. 이 방법은 적응형 소프트 레이블을 사용하여 통합 초구면에서 정체성과 시점 분포를 동시에 모델링한다. 경직된 시점 레이블을 시점 인식 적응형 레이블 스무딩으로 대체하고 중심 정규화를 적용함으로써, 노이즈가 있거나 잘못된 시점 레이블이 존재하는 상황에서도 Market-1501과 DukeMTMC-reID에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Although great progress in supervised person re-identification (Re-ID) has been made recently, due to the viewpoint variation of a person, Re-ID remains a massive visual challenge. Most existing viewpoint-based person Re-ID methods project images from each viewpoint into separated and unrelated sub-feature spaces. They only model the identity-level distribution inside an individual viewpoint but ignore the underlying relationship between different viewpoints. To address this problem, we propose a novel approach, called extit{Viewpoint-Aware Loss with Angular Regularization }( extbf{VA-reID}). Instead of one subspace for each viewpoint, our method projects the feature from different viewpoints into a unified hypersphere and effectively models the feature distribution on both the identity-level and the viewpoint-level. In addition, rather than modeling different viewpoints as hard labels used for conventional viewpoint classification, we introduce viewpoint-aware adaptive label smoothing regularization (VALSR) that assigns the adaptive soft label to feature representation. VALSR can effectively solve the ambiguity of the viewpoint cluster label assignment. Extensive experiments on the Market1501 and DukeMTMC-reID datasets demonstrated that our method outperforms the state-of-the-art supervised Re-ID methods.

연구 동기 및 목표

• 다양한 시점에서 찍힌 동일한 사람의 이미지 간에 큰 시각적 외형 차이가 발생하는 시점 변동 문제를 해결하기 위해.
• 기존 방법들이 시점과 정체성 학습을 별도로 다루고 경직된 시점 레이블을 사용함으로써 최적의 특징 표현이 어려운 문제를 해결하기 위해.
• 통합 초구면 내에서 정체성 수준과 시점 수준의 특징 분포를 동시에 모델링하여, 다양한 시점 간의 매칭 성능을 향상시키기 위해.
• 시점 레이블이 모호하거나 노이즈가 있을 경우의 영향을 줄이기 위해, 시점 인식 레이블 스무딩 정규화(VALSR)를 통해 적응형 소프트 레이블을 도입하기 위해.
• 부정확한 시점 레이블이 존재하는 실제 환경 조건에서도 강건성과 성능 향상을 입증하기 위해.

제안 방법

• 모든 시점의 특징이 투영되는 통합 초구면 임베딩 공간을 제안하여, 정체성과 시점 분포를 동시에 모델링할 수 있도록 한다.
• 중심 정규화를 활용해 정체성 수준의 분리와 시점 수준의 클러스터링을 강제하는 시점 인식 각도 손실을 도입한다.
• 시점 인식 적응형 레이블 스무딩 정규화(VALSR)를 개발하여, 분류 중심과의 유사도 기반으로 one-hot 경직 레이블을 적응형 소프트 레이블로 대체한다.
• 동일한 정체성의 시점 클러스터 중심을 가까이 모으는 중심 정규화 항을 사용하여, 이들의 시각적 유사성을 반영한다.
• 제안된 각도 손실과 VALSR를 동시에 최적화하는 통합 학습 프레임워크를 활용하여 정체성과 시점 식별을 동시에 최적화한다.
• 전역 및 국소 특징 학습에 이 방법을 적용하며, 국소 브랜치는 미세 구조 표현을 향상시키기 위해 다중 스트립 구조를 사용한다.

실험 결과

연구 질문

• RQ1 통합 초구면에서 정체성과 시점 분포를 동시에 모델링하면 시점 변동 상황에서 사람 재식별 성능이 향상되는가?
• RQ2 경직된 시점 레이블을 적응형 소프트 레이블로 대체하면, 모호하거나 노이즈가 있는 시점 레이블의 부정적 영향을 줄일 수 있는가?
• RQ3 시점 인식 적응형 레이블 스무딩 정규화(VALSR)는 기존의 경직된 레이블링 방식에 비해 특징 표현을 어떻게 향상시키는가?
• RQ4 실제 데이터셋에서 노이즈가 있거나 정확도가 떨어지는 시점 레이블이 존재할 경우, 제안된 방법이 얼마나 강건한가?
• RQ5 전역 및 국소 특징의 통합이 다양한 시점 간 재식별 성능 향상에 기여하는가?

주요 결과

• VA-reID는 국소 특징과 함께 사용했을 때 Market-1501에서 mAP가 1.73% 향상되고 Rank-1가 0.36% 향상되어 최신 기준 성능을 달성한다.
• DukeMTMC-reID에서 VA-reID는 국소 특징과 함께 사용했을 때 mAP가 3.03% 향상되고 Rank-1가 0.50% 향상된다.
• 포즈 기반 시점 클러스터링 정확도가 44.57%에 불과한 상황에서도, VA-reID는 PC 레이블을 사용해 DukeMTMC-reID에서 mAP 80.69%, Rank-1 90.35%를 달성하여 노이즈 레이블에 대한 강건성을 입증한다.
• 예측된 시점 레이블(P)을 사용한 VA-reID는 DukeMTMC-reID에서 mAP 81.05%, Rank-1 90.75%를 기록하여, 지표 레이블(GT)의 성능(81.48% mAP, 91.11% Rank-1)에 거의 근접한 성능을 달성한다.
• 시각화 결과는 VA-reID가 기준 방법에 비해 다수의 시점에서의 교차 시점 검색 성능을 크게 향상시키며, 쿼리가 다른 시점에서 찍힌 이미지도 정확히 검색할 수 있음을 보여준다.
• 하이퍼파rameter 분석을 통해 α와 β 값의 넓은 범위에서 메서드가 안정적임을 확인하였으며, 적응형 레이블 스무딩 메커니즘의 효과를 입증한다.