[논문 리뷰] Deep Metric Learning for Practical Person Re-Identification

Yi Dong, Zhen Lei외 1명|arXiv (Cornell University)|2014. 07. 18.

Video Surveillance and Tracking Methods참고 문헌 32인용 수 138

한 줄 요약

이 논문은 사람 재식별을 위한 원시 픽셀에서 색상, 텍스처 및 유사도 메트릭을 동시에 학습하는 시AME 시퀀셜 컨volution 신경망인 딥 메트릭 러닝(DML)을 제안한다. 이중 이항 편차 손실과 코사인 유사도를 사용함으로써 DML은 VIPeR 및 PRID2011에서 내부 및 크로스 데이터셋 설정 모두에서 최신 기술 수준의 성능을 달성하며, 도메인 이동에 대한 강력한 일반화 능력을 입증한다.

ABSTRACT

Various hand-crafted features and metric learning methods prevail in the field of person re-identification. Compared to these methods, this paper proposes a more general way that can learn a similarity metric from image pixels directly. By using a "siamese" deep neural network, the proposed method can jointly learn the color feature, texture feature and metric in a unified framework. The network has a symmetry structure with two sub-networks which are connected by Cosine function. To deal with the big variations of person images, binomial deviance is used to evaluate the cost between similarities and labels, which is proved to be robust to outliers. Compared to existing researches, a more practical setting is studied in the experiments that is training and test on different datasets (cross dataset person re-identification). Both in "intra dataset" and "cross dataset" settings, the superiorities of the proposed method are illustrated on VIPeR and PRID.

연구 동기 및 목표

• 자세, 조명, 해상도 및 시점 변화로 인한 큰 클래스 내 변동성과 클래스 간 혼동 문제를 해결하기 위해.
• 수작업 특징과 별도의 메트릭 학습 단계에 의존하지 않고, 특징과 메트릭을 동시에 학습하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 학습 및 테스트 데이터가 서로 다른 카메라 설정과 분포를 가진 실용적인 크로스 데이터셋 재식별 환경에서 모델의 일반화 능력을 평가하기 위해.
• 유사도 학습을 위해 이항 편차 손실을 사용하여 이상치 및 도메인 이동에 대한 강인성을 향상시키기 위해.

제안 방법

• 두 사람 이미지에서 특징를 추출하기 위해 공유 또는 비공유 서브 네트워크를 가진 시AME 딥 네트워크를 사용한다.
• 두 서브 네트워크 간의 연결 함수로 코사인 유사도를 사용하여 최종 유사도 점수를 계산한다.
• 예측된 유사도와 진짜 레이블 간의 격차를 측정하기 위해 이항 편차 손실을 적용하여, 노이즈 또는 이상치 샘플이 있는 경우에도 강인성을 향상시킨다.
• 유사도 및 손실 함수에 대한 해석적 기울기를 도출하여, 백프로파게이션을 사용해 전체 네트워크를 엔드 투 엔드로 최적화한다.
• 서브 네트워크 간의 파라미터 공유를 토글함으로써 시각별 특화 및 일반적인 사람 재식별을 모두 지원한다.
• 손실 함수에 대한 네트워크 가중치에 대한 폐쇄형 기울기를 유도하여 효율적인 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크는 원시 이미지 픽셀에서 사람 재식별을 위한 분류 가능한 특징과 강인한 유사도 메트릭을 동시에 학습시킬 수 있는가?
• RQ2 엔드 투 엔드 딥 메트릭 러닝은 수작업 특징과 별도의 메트릭 학습 단계를 사용하는 전통적인 이중 단계 방법보다 어떻게 비교되는가?
• RQ3 제안된 방법은 학습 및 테스트 데이터의 분포가 다른 새로운 데이터셋(크로스 데이터셋 재식별)에 효과적으로 일반화될 수 있는가?
• RQ4 이항 편차 손실의 사용은 사람 재식별에서 레이블 노이즈 및 이상치에 대한 강인성을 향상시키는가?
• RQ5 공유 가중치를 가진 시AME 아키텍처와 코사인 유사도는 성능 및 일반화 능력 측면에서 대안 아키텍처와 어떻게 비교되는가?

주요 결과

• 제안된 DML 방법은 VIPeR 및 PRID2011 데이터셋에서 표준 내부 데이터셋 평가 프로토콜 하에서 기존 최신 기술 수준의 방법을 능가하거나 동등하게 성능을 달성한다.
• i-LIDS 및 CUHK 캠퍼스에서 학습하고 VIPeR 및 PRID에서 테스트하는 크로스 데이터셋 재식별 실험에서 DML은 기존 방법들을 크게 능가하며, 강력한 도메인 일반화 능력을 입증한다.
• 이항 편차 손실의 사용은 노이즈 또는 모호한 샘플이 있는 경우에도 더 강인한 학습을 가능하게 하여 모델의 안정성을 향상시킨다.
• 공유 가중치를 가진 시AME 아키텍처는 일반적인 사람 재식별을 위한 효과적인 특징 학습을 가능하게 하며, 비공유 가중치는 시각별 적응을 지원한다.
• 백프로파게이션을 통한 특징 및 메트릭의 엔드 투 엔드 학습은 수작업 특징을 사용한 후 별도의 메트릭 학습을 수행하는 전통적 방법보다 더 우수한 성능을 낸다.
• 해석적 기울기 유도 덕분에 효율적이고 안정적인 최적화가 가능해졌으며, 이는 소규모 사람 재식별 데이터셋에서 깊은 시AME 네트워크를 훈련시키는 데 있어 핵심적이다.