[논문 리뷰] Adaptive Sparse Pairwise Loss for Object Re-Identification

Xiaofang Zhou, Yu-Jie Zhong외 3명|arXiv (Cornell University)|2023. 03. 31.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 논문은 사람과 차량 재식별을 위한 새로운 메트릭 학습 프레임워크인 적응형 희소 쌍(pairwise) 손실(AdaSP)을 제안한다. 이 손실은 각 클래스당 가장 정보가 많은 양성 및 음성 쌍만 선택하여, 큰 내부 클래스 변동성으로 인해 유해해지는 양성 쌍을 방지한다. 적응형 가중치를 적용한 가장 덜 어려운 양성 쌍 마이닝 전략을 통해 AdaSP는 여러 ReID 벤치마크에서 최신 기술(SOTA) 성능을 달성하며, MSMT17에서 mAP가 최대 4.9% 향상되고, VERI-WILD에서 4% 향상된다.

ABSTRACT

Object re-identification (ReID) aims to find instances with the same identity as the given probe from a large gallery. Pairwise losses play an important role in training a strong ReID network. Existing pairwise losses densely exploit each instance as an anchor and sample its triplets in a mini-batch. This dense sampling mechanism inevitably introduces positive pairs that share few visual similarities, which can be harmful to the training. To address this problem, we propose a novel loss paradigm termed Sparse Pairwise (SP) loss that only leverages few appropriate pairs for each class in a mini-batch, and empirically demonstrate that it is sufficient for the ReID tasks. Based on the proposed loss framework, we propose an adaptive positive mining strategy that can dynamically adapt to diverse intra-class variations. Extensive experiments show that SP loss and its adaptive variant AdaSP loss outperform other pairwise losses, and achieve state-of-the-art performance across several ReID benchmarks. Code is available at https://github.com/Astaxanthin/AdaSP.

연구 동기 및 목표

• ReID 학습에서 조밀한 쌍 샘플링으로 인해 발생하는 해로운 양성 쌍 문제를 해결하기 위해, 큰 내부 클래스 변동성으로 인해 국소 최소값에 갇힐 수 있는 문제를 해결한다.
• 쌍 손실에서 조밀한 인스턴스 수준의 앵커에 의존도를 줄이기 위해, 계산 비용을 증가시키고 무의미하거나 오도하는 쌍을 도입하는 문제를 해결한다.
• 최소한의 쌍 사용으로도 높은 성능을 유지하는 희소하지만 효과적인 쌍 손실 프레임워크를 개발한다.
• 특히 가장 덜 어려운 쌍을 기반으로 한 양성 마이닝 전략이 다양한 내부 클래스 변동성 하에서 메트릭 학습에 미치는 영향을 조사한다.
• 각 미니배치의 내부 클래스 변동 수준에 따라 다양한 양성 마이닝 전략을 적응적으로 가중하는 메커니즘을 설계한다.

제안 방법

• 각 클래스를 단위로 간주하고, 각 클래스당 하나의 대표 양성 쌍과 하나의 음성 쌍만 선택하는 희소 쌍(SP) 손실 프레임워크를 제안한다. 이로써 조밀한 인스턴스 수준의 앵커가 필요 없어진다.
• 내부 클래스 거리가 가장 작은(즉, 가장 시각적으로 유사한) 쌍을 선택하는 가장 덜 어려운 양성 마이닝 전략을 도입한다. 이는 가림, 조명 변화와 같은 큰 변동성 상황에서도 더 견고하다.
• 각 미니배치의 내부 클래스 변동 수준에 따라 가장 덜 어려운 양성 마이닝과 가장 어려운 양성 마이닝 전략을 동적으로 재가중하는 적응 메커니즘인 AdaSP를 개발한다. 이를 통해 동적 내부 클래스 초구면을 형성한다.
• 쌍 선택을 위해 온도 조정된 교차 엔트로피 손실을 사용하고, SP 손실을 정체성 분류 손실과 통합한다. 두 손실을 균형 잡기 위해 학습 가능한 가중치 λ를 사용한다.
• 기하학적 통찰: 가장 어려운 양성 쌍은 가장 큰 내부 클래스 초구면 반경을 정의하며, 이는 외곽치에 너무 민감할 수 있다. 반면 가장 덜 어려운 쌍은 가장 작은 반경을 정의하고, 일반적인 내부 클래스 유사도를 더 잘 대표한다.
• 미니배치 환경에서, 각 클래스에 대해 모델이 특징 임bedding을 사용하여 가장 정보가 많은 양성 및 음성 쌍을 식별하고, 이들 선택된 쌍에 대해서만 메트릭 손실을 계산한다.

실험 결과

연구 질문

• RQ1 각 클래스당 하나의 양성 쌍과 하나의 음성 쌍만 사용하는 희소 쌍 손실이, 조밀한 쌍 손실에 비해 경쟁 가능한 ReID 성능을 달성할 수 있는가?
• RQ2 내부 클래스 변동성이 큰 상황에서, 내부 클래스 거리가 가장 작은 쌍(즉, 가장 덜 어려운 쌍)이 가장 어려운 쌍보다 메트릭 학습에 더 효과적인가?
• RQ3 가장 덜 어려운 쌍과 가장 어려운 쌍 마이닝 전략을 조합한 적응 메커니즘이 다양한 내부 클래스 변동 수준을 가진 ReID 데이터셋에서 강건성을 향상시킬 수 있는가?
• RQ4 제안된 AdaSP 손실은 λ와 τ와 같은 하이퍼파라미터에 얼마나 민감한가? 최적의 값은 무엇인가?
• RQ5 제안된 손실이 표준 평가 프로토콜 하에서 사람과 차량 ReID 벤치마크 양쪽 모두에서 최신 기술 방법을 초월하는가?

주요 결과

• MSMT17에서 384×128 입력 해상도로 AdaSP는 mAP 64.7을 기록하며, 이는 이전 SOTA인 Nformer보다 4.9% 향상된 성능이다.
• CUHK03-Dataset에서 AdaSP는 78.0 mAP를 기록하며, 동일한 입력 크기에서 SOTA인 Nformer보다 3.3% 높다.
• 대규모 VERI-WILD 차량 ReID 벤치마크에서 AdaSP는 모든 테스트 세트에서 HRC와 UFDN보다 최소 4% 이상의 mAP 향상을 기록했다.
• MSMT17에서 최적의 하이퍼파라미터는 λ = 0.1, τ = 0.04이며, VeRi-776에서는 λ = 0.5, τ = 0.05이다. λ 값의 넓은 범위에서 성능가 안정적이다.
• 절단 분석 결과, 특히 가림이나 저조도 상황에서 내부 클래스 변동성이 클 경우, 가장 덜 어려운 양성 마이닝 전략이 하드 마이닝 전략보다 더 효과적임을 확인했다.
• AdaSP의 적응 메커니즘은 고정된 마이닝 전략보다 항상 성능을 향상시키며, 각 미니배치의 내부 클래스 변동 수준에 맞게 동적으로 조정할 수 있음을 입증했다.