[논문 리뷰] Hetero-Center Loss for Cross-Modality Person Re-Identification

Yuanxin Zhu, Zhao Yang외 4명|arXiv (Cornell University)|2019. 10. 22.

Video Surveillance and Tracking Methods참고 문헌 42인용 수 10

한 줄 요약

이 논문은 RGB 및 적외선 모odal 간의 내부 클래스 특징 변동을 최소화함으로써 다중 모odal 인물 재식별 성능을 향상시키는 새로운 손실 함수인 Hetero-Center Loss(HC loss)를 제안한다. Cross-Entropy 손실과 함께 공동 최적화함으로써, HC loss는 클래스 간 분離성과 내부 클래스 간 다중 모달 유사성을 향상시켜 표준 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Cross-modality person re-identification is a challenging problem which retrieves a given pedestrian image in RGB modality among all the gallery images in infrared modality. The task can address the limitation of RGB-based person Re-ID in dark environments. Existing researches mainly focus on enlarging inter-class differences of feature to solve the problem. However, few studies investigate improving intra-class cross-modality similarity, which is important for this issue. In this paper, we propose a novel loss function, called Hetero-Center loss (HC loss) to reduce the intra-class cross-modality variations. Specifically, HC loss can supervise the network learning the cross-modality invariant information by constraining the intra-class center distance between two heterogenous modalities. With the joint supervision of Cross-Entropy (CE) loss and HC loss, the network is trained to achieve two vital objectives, inter-class discrepancy and intra-class cross-modality similarity as much as possible. Besides, we propose a simple and high-performance network architecture to learn local feature representations for cross-modality person re-identification, which can be a baseline for future research. Extensive experiments indicate the effectiveness of the proposed methods, which outperform state-of-the-art methods by a wide margin.

연구 동기 및 목표

• 도메인 이동으로 인해 RGB 및 적외선 이미지 간에 동일한 사람을 매칭해야 하는 다중 모달 인물 재식별 문제를 해결하기 위해.
• 기존 방법에서 미처 탐색되지 않은 내부 클래스 간 다중 모달 특징 변동을 줄이기 위해.
• 다른 모달 간 동일한 사람에 대한 특징 유사성을 향상시키면서도 클래스 간 분離성을 유지하기 위해.
• 로컬 다중 모달 불변 특징을 학습하기 위한 간단하지만 효과적인 딥 네트워크 아키텍처를 제안하기 위해.

제안 방법

• HC loss는 동일한 신원에 속하는 RGB 및 적외선 모달 간의 중심 임베딩 간 거리를 최소화하도록 설계된다.
• 이 손실 함수는 이질적인 모달 간 내부 클래스 중심 거리를 명시적으로 제약하여 다중 모달 불변성을 촉진한다.
• 클래스 간 분離와 내부 클래스 정렬을 균형 있게 유지하기 위해 Cross-Entropy 손실과 HC loss를 공동 최적화하여 네트워크를 훈련시킨다.
• 다중 모달 매칭을 위한 국소적으로 구분 가능한 특징을 추출하기 위해 경량이면서 고성능의 백본 네트워크를 도입한다.
• 각 신원에 대한 특징 중심은 모달 별로 별도로 계산되며, HC loss의 지도 타겟으로 사용된다.
• 모달 별 특징 표현을 활용하면서도 중심 기반 제약을 통해 정렬을 강화한다.

실험 결과

연구 질문

• RQ1 내부 클래스 간 다중 모달 특징 변동을 최소화하는 것이 인물 재식별 성능 향상에 기여하는가?
• RQ2 중심 기반 손실 함수는 동일한 신원에 대한 RGB 및 적외선 임베딩 정렬에 얼마나 효과적인가?
• RQ3 Cross-Entropy 손실과 HC loss를 함께 최적화하면 Cross-Entropy 손실을 단독으로 사용할 때보다 더 나은 일반화 성능을 달성하는가?
• RQ4 HC loss를 적용한 단순한 네트워크 아키텍처가 복잡한 SOTA 모델을 능가할 수 있는가?

주요 결과

• 제안된 Hetero-Center Loss는 표준 벤치마크에서 다중 모달 인물 재식별 정확도를 크게 향상시킨다.
• SYSU-Market100V 및 RegDB 데이터셋에서 기존 SOTA 방법을 능가하는 최신 기술 수준 성능을 달성한다.
• HC loss와 Cross-Entropy 손실을 함께 훈련시킴으로써 더 나은 클래스 간 분離성과 내부 클래스 정렬이 이루어진다.
• 제거 실험을 통해 HC loss가 내부 클래스 간 다중 모달 변동을 효과적으로 줄임을 확인할 수 있다.
• 제안된 네트워크 아키텍처는 향후 다중 모달 Re-ID 연구를 위한 강력한 베이스라인을 제공한다.