[논문 리뷰] Rethinking Classification Loss Designs for Person Re-identification with a Unified View.

Zhizheng Zhang, Cuiling Lan외 3명|arXiv (Cornell University)|2020. 06. 08.

Video Surveillance and Tracking Methods참고 문헌 9인용 수 4

한 줄 요약

이 논문은 사람 재식별(ReID)에서 분류 손실과 트리플릿 손실을 통합된 시각으로 제안하며, 트리플릿 학습을 이원 분류 서브샘플링 분류 문제로 재정의한다. 다중 분류 서브샘플링 분류와 새로운 메타 프로토타입 N-튜플 손실을 도입함으로써, 표준 ReID 벤치마크에서 최신 기술 수준의 성능을 달성한다. 이는 훈련을 추론과 일치시킴으로써 더 넓은 클래스 샘플링을 통해 특징의 분리도를 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Person Re-identification (ReID) aims at matching a person of interest across images. In convolutional neural networks (CNNs) based approaches, loss design plays a role of metric learning which guides the feature learning process to pull closer features of the same identity and to push far apart features of different identities. In recent years, the combination of classification loss and triplet loss achieves superior performance and is predominant in ReID. In this paper, we rethink these loss functions within a generalized formulation and argue that triplet-based optimization can be viewed as a two-class subsampling classification, which performs classification over two sampled categories based on instance similarities. Furthermore, we present a case study which demonstrates that increasing the number of simultaneously considered instance classes significantly improves the ReID performance, since it is aligned better with the ReID test/inference process. With the multi-class subsampling classification incorporated, we provide a strong baseline which achieves the state-of-the-art performance on the benchmark person ReID datasets. Finally, we propose a new meta prototypical N-tuple loss for more efficient multi-class subsampling classification. We aim to inspire more new loss designs in the person ReID field.

연구 동기 및 목표

• 일반화된 손실 공식화 내에서 트리플릿 기반 최적화를 이원 분류 서브샘플링 분류 문제로 재정의하기.
• 동시 고려되는 인스턴스 클래스 수를 늘임으로써 ReID 성능 향상 여부를 조사하기.
• ReID 추론과 더 잘 일치하는 강력한 베이스라인을 다중 분류 서브샘플링 분류를 통해 개발하기.
• 확장 가능한 다중 분류 서브샘플링을 위한 효율적인 메타 프로토타입 N-튜플 손실 제안하기.
• 더 넓은 클래스 샘플링의 이점을 입증함으로써 사람 재식별 분야의 새로운 손실 설계를 영감 주기

제안 방법

• 인스턴스 유사도 기반으로 트리플릿 손실을 이원 분류 서브샘플링 분류 작업으로 재구성하기.
• 훈련 중에 두 개 이상의 신원을 동시에 고려할 수 있도록 다중 분류 서브샘플링 분류 도입하기.
• 프로토타입 학습 프레임워크 내에서 다수의 클래스를 효율적으로 샘플링하고 최적화할 수 있는 메타 프로토타입 N-튜플 손실 설계하기.
• 분류와 트리플릿 기반 최적화를 동일한 원칙 아래 통합하는 통일된 손실 공식화 사용하기.
• 엔드 투 엔드 백프로파게이션을 사용해 제안된 손실로 모델 훈련하기, 내부 클래스의 밀도와 외부 클래스의 분리도 최적화하기.
• 실제 세계의 ReID 매칭 시나리오를 모방하기 위해 훈련 중 더 많은 클래스를 샘플링함으로써 훈련 목표를 추론 과정과 일치시키기.

실험 결과

연구 질문

• RQ1 트리플릿 기반 최적화는 의미 있는 방식으로 이원 분류 서브샘플링 분류의 한 형태로 재해석될 수 있는가?
• RQ2 훈련 중에 동시에 고려되는 클래스 수를 늘임으로써 ReID 성능 향상이 이루어지는가?
• RQ3 다중 분류 서브샘플링 분류는 표준 분류 손실과 트리플릿 손실에 비해 특징 품질과 정확도 측면에서 어떻게 비교되는가?
• RQ4 메타 프로토타입 N-튜플 손실은 ReID를 위한 확장 가능한 다중 분류 서브샘플링을 효율적으로 지원할 수 있는가?
• RQ5 더 넓은 클래스 샘플링을 통해 훈련을 추론과 일치시킴으로써 모델 일반화 능력이 어느 정도 향상되는가?

주요 결과

• 제안된 다중 분류 서브샘플링 분류 베이스라인은 표준 사람 ReID 벤치마크에서 최신 기술 수준의 성능 달성.
• 동시 고려되는 클래스 수를 늘림으로써 성능 향상이 뚜렷하게 발생하며, 이는 테스트 시점 매칭 과정과 더 잘 일치하기 때문이다.
• 통합된 공식화를 통해 트리플릿 손실이 이원 분류 서브샘플링 분류의 특수한 경우임을 입증하여 이론적 명확성을 제공한다.
• 메타 프로토타입 N-튜플 손실은 효율적이고 효과적인 다중 분류 서브샘플링을 가능하게 하여 훈련 효율성과 특징 분리도를 향상시킨다.
• 결과는 손실 설계를 추론과 일치시켜 성능을 극대화해야 하며, 이는 이원 분류 샘플링의 우세성을 도전한다는 것을 입증한다.
• 실험 결과는 훈련 중 더 넓은 클래스 샘플링이 ReID에서 더 강력하고 일반화 능력이 뛰어난 특징을 이끌어낸다는 것을 확인한다.