[논문 리뷰] Cross-view Asymmetric Metric Learning for Unsupervised Person Re-identification

Hong-Xing Yu, Ancong Wu외 1명|arXiv (Cornell University)|2017. 08. 27.

Video Surveillance and Tracking Methods참고 문헌 20인용 수 45

한 줄 요약

이 논문은 레이블이 없는 교차 뷰 데이터를 고려해 카메라별 편향을 줄이기 위해 뷰별 전이를 학습하는 비대칭 거리 측정 학습 프레임워크인 CAMEL을 제안한다. 서로 다른 뷰 간의 이미지를 쌍화하지 않은 상태에서 함께 군집화하고 비대칭 거리 측정을 최적화함으로써, 대규모 비지도(person re-identification) 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, 이전의 비지도 및 지도 학습 기반 베이스라인을 모두 능가한다.

ABSTRACT

While metric learning is important for Person re-identification (RE-ID), a significant problem in visual surveillance for cross-view pedestrian matching, existing metric models for RE-ID are mostly based on supervised learning that requires quantities of labeled samples in all pairs of camera views for training. However, this limits their scalabilities to realistic applications, in which a large amount of data over multiple disjoint camera views is available but not labelled. To overcome the problem, we propose unsupervised asymmetric metric learning for unsupervised RE-ID. Our model aims to learn an asymmetric metric, i.e., specific projection for each view, based on asymmetric clustering on cross-view person images. Our model finds a shared space where view-specific bias is alleviated and thus better matching performance can be achieved. Extensive experiments have been conducted on a baseline and five large-scale RE-ID datasets to demonstrate the effectiveness of the proposed model. Through the comparison, we show that our model works much more suitable for unsupervised RE-ID compared to classical unsupervised metric learning models. We also compare with existing unsupervised RE-ID methods, and our model outperforms them with notable margins. Specifically, we report the results on large-scale unlabelled RE-ID dataset, which is important but unfortunately less concerned in literatures.

연구 동기 및 목표

• 레이블이 없는 교차 뷰 데이터로 인해 지도 학습 방법의 확장성이 제한되는 비지도 인식 도전 과제를 해결한다.
• 조명 변화, 가림, 시점 변화와 같은 뷰별 편향으로 인해 비지도 환경에서 매칭 성능이 저하되는 문제를 해결한다.
• 각 카메라 뷰에 대해 비대칭 변환을 명시적으로 모델링하는 거리 측정 학습 프레임워크를 개발하여, 분리된 카메라 뷰 간의 특징을 더 잘 정렬한다.
• 큰 규모의 레이블이 없는 감시 데이터를 효과적으로 활용하기 위해, 뷰별 왜곡을 줄이는 공통 임베딩 공간을 학습한다.

제안 방법

• 각 카메라 뷰가 고유한 투영 행렬을 가지는 비대칭 거리 측정 학습 공식을 제안한다: $ d( extbf{x}_i^p, extbf{x}_j^q) = Vert extbf{U}^{p op} extbf{x}_i^p - extbf{U}^{q op} extbf{x}_j^q Vert_2 $, 이는 각 뷰에 대해 별개의 변환을 가능하게 한다.
• 군집화(예: k-means)를 거리 측정 학습과 통합하여, 공통 공간에서 뷰별 투영 행렬과 군집 할당을 동시에 최적화한다.
• 반복 알고리즘을 사용해 군집 할당을 개선하고 투영 행렬을 갱신함으로써, 군집 품질 향상과 거리 측정 정렬을 동시에 달성한다.
• 군집화 과정을 최종 목표로 삼기보다는, 뷰별 편향을 줄이는 데 도움이 되는 비대칭 거리 측정 학습을 이끄는 수단으로 활용한다.
• 딥 레이어 특징(예: JSTL)과 수작업 특징(예: LOMO) 모두에 적용하여, 다양한 특징 유형 간의 일반화 능력을 입증한다.
• 군집 일관성과 거리 측정 학습 성능를 균형 잡는 공동 목표를 사용해 모델을 엔드 투 엔드로 최적화한다.

실험 결과

연구 질문

• RQ1 비지도 인식에서 레이블이 없는 데이터를 사용할 때 비대칭 거리 측정 학습이 뷰별 편향을 효과적으로 줄일 수 있는가?
• RQ2 CAMEL의 성능은 대칭 거리 측정 학습 및 전통적인 비지도 군집화 방법보다 교차 뷰 매칭에서 어떻게 다른가?
• RQ3 특히 고차원 특징을 가진 대규모 데이터셋에서, CAMEL은 군집 수(K)에 대해 얼마나 강인한가?
• RQ4 CAMEL은 딥 레이어 특징와 수작업 특징을 포함한 다양한 특징 표현 유형 간에 일반화 가능한가?
• RQ5 군집 기반 거리 측정 학습 프레임워크는 기존의 비지도 RE-ID 방법보다 대규모 레이블 없는 데이터셋에서 더 뛰어난 성능을 보이는가?

주요 결과

• ExMarket 데이터셋에서 멀티샷 설정에서 CAMEL은 55.9%의 랭크-1 정확도를 달성하며, 다음으로 좋은 방법보다 10퍼센트 이상 높은 성능을 보였다.
• Market1501 데이터셋에서 CAMEL은 멀티샷 평가에서 54.5%의 랭크-1 정확도를 기록했으며, 기준 $L_2$ 거리(27.4%)와 Dic, ISR 등의 이전 비지도 방법보다 뚜렷하게 뛰어났다.
• CAMEL의 대칭형 버전(CMEL)은 비대칭형 버전보다 성능이 크게 열 劣하므로, 뷰별 모델링이 성능 향상에 필수적임을 입증했다.
• CAMEL은 군집 수(K)에 대해 매우 민감하지 않으며, CUHK01, Market, ExMarket에서 K = 250에서 1250 사이에서 성능 변동이 미미하게 나타났다.
• 수렴 단계에서 CUHK01에서 한 군집에 여러 명의 사람이 포함된 비율은 초기 77.6%에서 수렴 후 55.8%로 감소하여 반복 과정 동안 군집 품질 향상이 있었음을 시사한다.
• 512D LOMO 특징을 사용할 때 CAMEL은 ExMarket에서 42.2%의 랭크-1 정확도를 기록했으며, Dic(33.8%)보다 뛰어나고 ISR은 결과 없음으로 확인되어 다양한 특징 유형 간 효과성도 입증했다.