[논문 리뷰] Beyond Triplet Loss: Person Re-identification with Fine-grained Difference-aware Pairwise Loss

Yan Cheng, Guansong Pang외 3명|arXiv (Cornell University)|2020. 09. 22.

Video Surveillance and Tracking Methods참고 문헌 47인용 수 19

한 줄 요약

이 논문은 사람 재식별을 위한 새로운 미세한 차이 인식(pairwise) 손실인 FIDI(Fine-grained Difference-aware) 손실을 제안한다. 이 손실은 작은 외관 차이에는 지수적 페널티를, 큰 차이에는 유계 페널티를 적응적으로 적용함으로써, 미세한 구분을 위한 특징 학습을 크게 향상시킨다. FIDI 손실은 네 개의 벤치마크 데이터셋에서 트리플릿 손실과 다른 최신 기술들을 능가하며, mAP와 R-1 점수를 높이고 데이터 효율성까지 향상시킨다.

ABSTRACT

Person Re-IDentification (ReID) aims at re-identifying persons from different viewpoints across multiple cameras. Capturing the fine-grained appearance differences is often the key to accurate person ReID, because many identities can be differentiated only when looking into these fine-grained differences. However, most state-of-the-art person ReID approaches, typically driven by a triplet loss, fail to effectively learn the fine-grained features as they are focused more on differentiating large appearance differences. To address this issue, we introduce a novel pairwise loss function that enables ReID models to learn the fine-grained features by adaptively enforcing an exponential penalization on the images of small differences and a bounded penalization on the images of large differences. The proposed loss is generic and can be used as a plugin to replace the triplet loss to significantly enhance different types of state-of-the-art approaches. Experimental results on four benchmark datasets show that the proposed loss substantially outperforms a number of popular loss functions by large margins; and it also enables significantly improved data efficiency.

연구 동기 및 목표

• 사람 재식별에서 트리플릿 손실이 미세한 외관 차이를 포착하는 데에 한계가 있다는 문제를 해결하기 위해.
• 작은 상호 및 내부 개인 간의 차이를 효과적으로 페널티 부여할 수 있는 손실 함수를 개발하기 위해.
• 적응적 페널티를 통해 더 구분력 있는 표현을 학습시킴으로써 모델 성능과 데이터 효율성을 향상시키기 위해.
• 아키텍처 변경 없이 다양한 최신 기술의 ReID 모델을 향상시킬 수 있는 일반적이고 플러그인 방식의 손실을 만들기 위해.

제안 방법

• 작은 쌍별 거리(미세한 차이를 나타냄)에는 지수적 페널티를, 큰 거리에는 유계 페널티를 적용하는 미세한 차이 인식(Fine-grained Difference-aware, FIDI) 쌍별 손실을 제안한다.
• 손실 함수는 작은 차이에 민감하게 반응하면서도 큰 차이에 대한 과도한 페널티를 방지하여, 모든 척도에서 특징 학습을 균형 있게 유지하도록 설계되었다.
• FIDI 손실은 쌍별 임bedding의 미분 가능한 함수로 정의되어 표준 딥러닝 프레임워크를 사용한 엔드 투 엔드 학습이 가능하다.
• 이 손실은 어떤 백본 네트워크와도 호환되며, 기존 ReID 모델에 트리플릿 손실의 대체로 플러그인 구성 요소로 사용할 수 있다.
• 성능 최적화를 위해 교차 검증을 통해 초모수 α(손실의 경계)와 β(거리에 대한 민감도)를 조정한다.
• 논문은 사람 재식별 벤치마크에서 평가되었으며, 이는 차량 재식별으로 일반화되어 이전성의 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 작은 외관 차이를 적응적으로 페널티 부여하는 쌍별 손실이 트리플릿 손실을 넘어서 사람 재식별 성능을 향상시킬 수 있는가?
• RQ2 FIDI 손실은 복잡한 ReID 환경에서 미세한 구분을 위한 특징 학습을 어떻게 향상시키는가?
• RQ3 FIDI 손실은 트리플릿 손실과 다른 최신 기술들에 비해 데이터 효율성에서 얼마나 향상되는가?
• RQ4 FIDI 손실은 차량 재식별과 같은 다른 ReID 작업으로 일반화될 수 있는가?

주요 결과

• VeRi-776 및 VehicleID 데이터셋에서 FIDI 손실은 Baseline2 방법보다 mAP가 1.3%에서 2.6% 높고, R-1 점수는 0.6%에서 0.7% 높게 기록했다.
• CUHK03-L 및 CUHK03-D 데이터셋에서 FIDI 손실은 트리플릿 손실 기반 모델 대비 mAP를 2% 이상 향상시켰다.
• FIDI 손실은 데이터 효율성을 크게 향상시켜, 더 적은 학습 샘플로도 더 높은 성능을 달성할 수 있도록 했다.
• 시각화 결과, FIDI 손실로 학습된 모델은 미세한 외관 변화가 있는 동안에도 같은 정체성을 가진 이미지를 정확히 순서대로 정렬하는 반면, 기준 모델은 유사한 외관을 가진 차량을 혼동하는 경향을 보였다.
• FIDI 손실은 초모수 설정에 대해 강건하며, 최적의 성능은 α=1.05와 β=0.5에서 달성되지만, 다양한 값 범위에서도 안정적인 성능 유지를 보였다.
• FIDI 손실은 차량 재식별으로도 잘 일반화되어, VeRi-776 및 VehicleID 데이터셋에서 여러 최신 기술들을 능가하는 성능을 기록했다.