[논문 리뷰] In Defense of the Triplet Loss for Person Re-Identification

Alexander Hermans, Lucas Beyer외 1명|arXiv (Cornell University)|2017. 03. 22.

Video Surveillance and Tracking Methods참고 문헌 13인용 수 2,885

한 줄 요약

이 논문은 triplet loss의 변형(배치 하드와 소프트 마진)을 활용한 엔드투엔드(metric learning)을 주장하며 Market-1501, MARS, CUHK03에서 최첨단(SOTA) 결과를 달성하는 것을 보여주고, 심지어 처음부터 학습하는 경우도 포함한다.

ABSTRACT

In the past few years, the field of computer vision has gone through a revolution fueled mainly by the advent of large datasets and the adoption of deep convolutional neural networks for end-to-end learning. The person re-identification subfield is no exception to this. Unfortunately, a prevailing belief in the community seems to be that the triplet loss is inferior to using surrogate losses (classification, verification) followed by a separate metric learning step. We show that, for models trained from scratch as well as pretrained ones, using a variant of the triplet loss to perform end-to-end deep metric learning outperforms most other published methods by a large margin.

연구 동기 및 목표

• 재식별(ReID)에서 triplet loss를 대체 지표 손실과 경쟁적으로 재평가할 것을 동기 부여한다.
• 비용이 많이 드는 오프라인 하드 네거티브 마이닝의 필요성을 제거하는 배치 하드 triplet loss 변형을 제안한다.
• 사전 학습된 네트워크와 From-scratch 네트워크 모두에서 엔드투엔드 학습 효능을 입증한다.
• 잘 설계된 triplet loss가 주요 ReID 데이터셋에서 많은 출판된 방법들을 능가할 수 있음을 보여준다.

제안 방법

• metric embedding 손실(LLMNN 및 triplet loss를 포함)을 검토하고 맥락화한다.
• Batch Hard (LBH) 및 Batch All (LBA) 형식을 도입하고 배치 내 하드 마이닝을 강조한다.
• 안정성을 위한 batch-hard 손실의 소프트 마진 버전을 제안한다.
• 검증 세트에서 여러 triplet 형식(vanilla, Lifted, soft-margin variants)을 비교한다.
• 임베딩 공간에서 유클리드 거리를 사용하고 임베딩 정규화를 피한다.
• 사전 학습된(TriNet) 및 from-scratch(LuNet) 네트워크로 Market-1501, MARS, CUHK03에서 평가한다.

실험 결과

연구 질문

• RQ1 End-to-end triplet-loss 기반의 메트릭 학습이 보조 손실과 추가 메트릭 학습 단계 없이도 사람 ReID에서 우수할 수 있는가?
• RQ2 배치 내 작은 PK 배치에서의 배치-하드 마이닝이 비용이 큰 오프라인 하드 네가티브 마이닝의 필요를 없애는가?
• RQ3 다른 triplet-loss 형식들(batch hard/soft margin, batch all, Lifted)은 ReID 성능에 대해 어떻게 비교되는가?
• RQ4 사전 학습과 from-scratch 학습이 triplet loss와 함께 ReID 성능에 미치는 영향은 무엇인가?
• RQ5 마진이 없거나 소프트 마진 형식이 안정성과 강력한 ReID 임베딩에 바람직한가?

주요 결과

• 배치-하드 triplet loss와 소프트 마진은 Market-1501, MARS에서 최첨단 결과를 달성하고 test-time augmentation과 결합했을 때 CUHK03에서 경쟁력 있는 성능을 보인다.
• 배치-하드는 실험에서 항상 배치-올(bath-all)과 일반 triplet 형식보다 우수하며, 오프라인 하드 마이닝의 오버헤드를 제거한다.
• 소프트 마진 버전은 결과를 더 개선하고 학습 불안정을 줄인다.
• 사전 학습된 네트워크(TriNet)가 가장 강력한 결과를 낳지만, 처음부터 학습된 잘 설계된 네트워크(LuNet)도 경쟁력이 있어 엔드투엔드 triplet 학습이 큰 백본 없이도 가능함을 보여준다.
• 그들의 배치-하드 triplet 손실 및 엔드투엔드 임베딩 학습으로 분류 손실 기반(IIDE) 대비 큰 이점을 얻을 수 있어 triplet 접근법의 효과를 강조한다.
• 추가적인 디스트랙터 이미지와 테스트 시간 증강으로 평가할 때도 성능 이득이 지속된다.