[논문 리뷰] Beyond triplet loss: a deep quadruplet network for person re-identification

Weihua Chen, Xiaotang Chen외 2명|arXiv (Cornell University)|2017. 04. 06.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 114

한 줄 요약

사람 재식별(re-identification)에서 triplet loss를 대체하기 위한 quadruplet loss를 도입하고 margin-based online hard negative mining을 통해 일반화 성능을 개선하여 CUHK03, CUHK01, VIPeR 데이터셋에서 최첨단 결과를 얻는다.

ABSTRACT

Person re-identification (ReID) is an important task in wide area video surveillance which focuses on identifying people across different cameras. Recently, deep learning networks with a triplet loss become a common framework for person ReID. However, the triplet loss pays main attentions on obtaining correct orders on the training set. It still suffers from a weaker generalization capability from the training set to the testing set, thus resulting in inferior performance. In this paper, we design a quadruplet loss, which can lead to the model output with a larger inter-class variation and a smaller intra-class variation compared to the triplet loss. As a result, our model has a better generalization ability and can achieve a higher performance on the testing set. In particular, a quadruplet deep network using a margin-based online hard negative mining is proposed based on the quadruplet loss for the person ReID. In extensive experiments, the proposed network outperforms most of the state-of-the-art algorithms on representative datasets which clearly demonstrates the effectiveness of our proposed method.

연구 동기 및 목표

• 일반화된 unseen 테스트 아이덴티티에 대한 triplet loss의 개선 동기.
• inter-class variation 증가 및 intra-class variation 감소를 목표로 하는 quadruplet loss 제안.
• margin 기반 온라인 하드 네거티브 마이닝으로 quadruplet 딥 네트워크 개발.
• quadruplet, triplet, 그리고 binary classification 손실 간의 이론적 관계를 제공하여 설계 정당화.

제안 방법

• triplet loss를 두 개의 마진(alpha1 및 alpha2)을 가진 quadruplet loss로 정의하고 확장한다.
• 두 가지 항으로 구성된 손실을 도입: (i) 같은 프로브(relative ordering) 강한 push 및 (ii) 다른 프로브 ordering 보조 제약.
• 출력들을 [0,1]로 보정하기 위해 소프트맥스 정규화를 갖는 두-output 완전연결층으로 학습 거리를 정규화한다.
• 배치 분포 통계를 이용해 margins를 조정하는 margin-based online hard negative mining을 적용한다.
• 적응형 마진 alpha1 및 alpha2를 포함하는 SGD용 그래디언트 및 학습 규칙을 제공한다.
• quadruplet, triplet 및 binary/classification 손실 사이의 관계를 비교하여 설계를 정당화한다.

실험 결과

연구 질문

• RQ1 Quadruplet loss가 표준 triplet loss와 비교해 ReID에서 보이지 않는(identity) 일반화를 개선할 수 있는가?
• RQ2 두 번째 다른 프로브 제약을 도입하면 inter-class variation을 확대하고 intra-class variation을 감소시킬 수 있는가?
• RQ3 적응형 마진 기반 온라인 하드 네거티브 마이닝이 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ4 ReID에서 quadruplet loss, triplet loss 및 binary classification losses 사이의 이론적 관계는 무엇인가?
• RQ5 제안된 quadruplet 네트워크가 표준 ReID 벤치마크에서 최첨단 결과를 달성하는가?

주요 결과

• Quadruplet loss가 트립렛 손실에 비해 같은 클래스 내 거리가 더 작고 클래스 간 거리가 더 큰 결과를 벤치마크 데이터셋에서 보인다.
• CUHK03, CUHK01, VIPeR에서 단일샷 CMC 지표로 대부분의 최첨단 방법보다 높은 성능.
• Margin-based online hard negative mining이 CUHK03 및 CUHK01에서 랭크-n 성능을 향상시키며 데이터셋에 따라 효과가 다르게 나타났다.
• 프레임워크는 quadruplet loss와 binary classification losses 사이의 연결을 확립하여 순수 분류 기반이나 triplet 기반 접근의 약점을 보완한다.
• 실험은 quadruplet 학습 하에서 intra- 및 inter-class 거리의 분포가 유리하게 이동함을 보여 일반화가 향상됨을 시사한다.