[논문 리뷰] Uncertainty-Aware Multi-Shot Knowledge Distillation for Image-Based Object Re-Identification

Xin Jin, Cuiling Lan외 2명|arXiv (Cornell University)|2020. 01. 15.

Video Surveillance and Tracking Methods참고 문헌 38인용 수 5

한 줄 요약

이 논문은 동일한 신원의 여러 이미지를 활용하여 단일 이미지 재식별 성능을 햖थ한 불확실성 인식 다중샷 교사-학생(UMTS) 프레임워크를 제안한다. 데이터에 의존하는 이종분산 불확실성 모델링을 통해 다중샷 교사 네트워크에서 단일 이미지 학생 네트워크로 종합적인 특징을 희석한다. 추론 비용 증가 없이도 사람 및 차량 재식별 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

Object re-identification (re-id) aims to identify a specific object across times or camera views, with the person re-id and vehicle re-id as the most widely studied applications. Re-id is challenging because of the variations in viewpoints, (human) poses, and occlusions. Multi-shots of the same object can cover diverse viewpoints/poses and thus provide more comprehensive information. In this paper, we propose exploiting the multi-shots of the same identity to guide the feature learning of each individual image. Specifically, we design an Uncertainty-aware Multi-shot Teacher-Student (UMTS) Network. It consists of a teacher network (T-net) that learns the comprehensive features from multiple images of the same object, and a student network (S-net) that takes a single image as input. In particular, we take into account the data dependent heteroscedastic uncertainty for effectively transferring the knowledge from the T-net to S-net. To the best of our knowledge, we are the first to make use of multi-shots of an object in a teacher-student learning manner for effectively boosting the single image based re-id. We validate the effectiveness of our approach on the popular vehicle re-id and person re-id datasets. In inference, the S-net alone significantly outperforms the baselines and achieves the state-of-the-art performance.

연구 동기 및 목표

• 이미지 기반 재식별에서 시점, 자세, 가림 등 큰 변동성을 다루는 데 목적이 있다.
• 동일 신원의 다중샷 이미지를 활용하여 단일 이미지보다 더 종합적인 시각 정보를 제공한다.
• 다중샷 지식을 단일 이미지 재식별 모델로 효과적으로 전달하는 지식 희석 프레임워크를 개발한다.
• 데이터에 의존하는 이종분산 불확실성을 지식 희석에 통합하여 특징 학습을 향상시킨다.
• 추론 복잡도 증가 없이 최고 성능을 달성한다.

제안 방법

• UMTS 프레임워크는 동일 신원의 K장의 다중샷 이미지를 처리하여 종합적인 특징을 학습하는 교사 네트워크(T-net)로 구성된다.
• 학습된 학생 네트워크(S-net)는 불확실성 인식 지식 희석 손실(UA-KDL)을 사용하여 T-net의 출력을 모방한다.
• UA-KDL은 입력 이미지 품질과 가시성에 따라 변하는 이종분산 불확실성을 명시적으로 모델링하여 적응형 지식 전달을 가능하게 한다.
• 불확실성은 배치 단위로 추정되며, 이는 희석 손실의 가중치로 사용되어 품질이 높고 정보가 풍부한 이미지에서 더 신뢰할 수 있는 지도를 제공한다.
• 손실은 네트워크의 다중 스테이지/레이어에 적용되어 의미 수준 전반에 걸친 특징 학습을 정규화한다.
• 추론 시에는 단지 S-net만 사용되며, 효율성과 표준 재식별 파이프라인과의 호환성을 유지한다.

실험 결과

연구 질문

• RQ1 동일 신원의 다중샷 이미지를 단일 이미지 재식별 성능 향상에 효과적으로 활용할 수 있는가?
• RQ2 다중샷 입력의 불확실성을 어떻게 모델링하여 지식 희석 효율성을 높일 수 있는가?
• RQ3 데이터에 의존하는 이종분산 불확실성을 통합하면 재식별에서 더 나은 특징 학습이 이루어지는가?
• RQ4 다중샷 데이터를 사용하는 교사-학생 프레임워크가 추론 비용 증가 없이 SOTA 성능을 달성할 수 있는가?
• RQ5 대규모 벤치마크에서 제안된 방법은 기존 재식별 접근법과 비교해 어떻게 성능를 내는가?

주요 결과

• 대규모 VERI-Wild 차량 재식별 데이터셋에서 UMTS는 mAP 95.8%를 기록했으며, 소형 세트에서는 2위 방법보다 4.0% 이상, 중형 세트에서는 5.0%, 대형 세트에서는 4.5% 높은 성능를 보였다.
• CUHK03 (라벨링된) 사람 재식별에서 UMTS는 Rank-1 80.7%와 mAP 75.5%를 달성하여 ResNet-50 기준선 대비 mAP에서 7.2% 향상되었다.
• OSNet를 백본으로 사용했을 때, UMTS는 CUHK03 (검출된)에서 Rank-1 78.6%와 mAP 74.1%를 기록하여 기준선 대비 mAP에서 6.3% 향상되었다.
• 시각화 결과, 다중샷 지식에 의해 안내된 S-net은 기준선보다 더 구분력 있는 영역(예: 신발, 가방, 점검 스티커)에 주목하는 것으로 나타났다.
• 불확실성 맵은 가림되거나 품질이 낮은 이미지에서 높은 불확실성을 보여주어, 모델이 희석 과정에서 입력을 적응적으로 가중할 수 있음을 확인했다.
• 절단 분석 결과, 다중샷 지식 희석과 불확실성 인식 손실이 성능 향상에 모두 필수적임을 입증했다.