[논문 리뷰] Benchmarks for Corruption Invariant Person Re-identification

Ming‐Hui Chen, Zhiqiang Wang외 1명|arXiv (Cornell University)|2021. 11. 01.

Retinal Imaging and AnalysisMedicine인용 수 18

한 줄 요약

이 논문은 Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01의 다섯 개인 단일 및 크로스 모odal리티 데이터셋에 걸쳐 실세계 이미지 손상에 강인한 인식(person re-identification)을 위한 최초의 종합적 벤치마크를 제안한다. 이는 20종류의 손상 유형을 다섯 단계의 심각도로 적용하며, 21종의 최신 SOTA ReID 방법을 평가한다. 결과적으로 트랜스포머 기반 모델이 CNN보다 더 강인한 것으로 밝혀졌고, 무작위 삭제(random erasing)는 손상 강인성에 악영향을 미친다. 또한 손상 강인성과 교차 데이터셋 일반화 능력 간의 상관관계가 확인되었으며, 개선된 데이터 증강 및 손실 함수 설계를 통해 강력한 손상 간이성 기반 모델을 제안한다.

ABSTRACT

When deploying person re-identification (ReID) model in safety-critical applications, it is pivotal to understanding the robustness of the model against a diverse array of image corruptions. However, current evaluations of person ReID only consider the performance on clean datasets and ignore images in various corrupted scenarios. In this work, we comprehensively establish six ReID benchmarks for learning corruption invariant representation. In the field of ReID, we are the first to conduct an exhaustive study on corruption invariant learning in single- and cross-modality datasets, including Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01. After reproducing and examining the robustness performance of 21 recent ReID methods, we have some observations: 1) transformer-based models are more robust towards corrupted images, compared with CNN-based models, 2) increasing the probability of random erasing (a commonly used augmentation method) hurts model corruption robustness, 3) cross-dataset generalization improves with corruption robustness increases. By analyzing the above observations, we propose a strong baseline on both single- and cross-modality ReID datasets which achieves improved robustness against diverse corruptions. Our codes are available on https://github.com/MinghuiChen43/CIL-ReID.

연구 동기 및 목표

• 안전 중심 감시 응용 분야에서 흔히 발생하는 실세계 이미지 손상 하에서의 person ReID 모델에 대한 체계적 평가 부족 문제를 해결하기 위해.
• 다양한 단일 및 크로스 모달리티 데이터셋에 걸쳐 손상 간이성 인식을 위한 최초의 대규모 표준화된 벤치마크를 구축하기 위해.
• 네트워크 아키텍처(CNN 대비 트랜스포머)와 데이터 증강(예: 무작위 삭제)이 이미지 손상에 대한 강인성에 미치는 영향을 조사하기 위해.
• 손상 강인성과 교차 데이터셋 일반화 능력 간의 관계를 탐색하며, 합성 손상 강인성은 실세계 분포 이동에 일반화되지 않는다는 기존 가정을 도전하기 위해.
• 향상된 데이터 증강 및 손실 함수 설계를 통해 손상 간이성 ReID를 향상시키는 실용적이고 강력한 기반 모델을 제안하기 위해.

제안 방법

• 저자들은 Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01의 청소된 버전에 실세계 손상 유형 20종(예: 노이즈, 블러, 눈)을 다섯 단계의 심각도로 적용하여 다섯 개의 손상 간이성 ReID 벤치마크를 구축한다.
• 손상 유형은 테스트 시점 전용으로 적용되며, 모델 학습 중에는 볼 수 없게 하여 실제 새로운 손상에 대한 일반화 능력을 평가할 수 있도록 보장한다.
• 평가를 위해 세 가지 설정을 적용한다: 손상된 쿼리, 손상된 갤러리, 손상된 쿼리와 갤러리로, 실제 실패 모드에서의 강인성을 평가한다.
• 저자들은 Market-1501, CUHK03, MSMT17, RegDB, SYSU-MM01 전부에서 CNN 기반 및 트랜스포머 기반 아키텍처를 포함한 21종의 최신 SOTA ReID 방법을 재현하고 평가한다.
• 무작위 삭제, 배치 정규화 네크(BNNeck), 식별 손실을 개선함으로써 강력한 손상 간이성 기반 모델을 제안하며, 설계 선택 사항을 검증하기 위한 아블레이션 스터디를 수행한다.
• 활성화 맵과 시각화 기법을 활용하여 다양한 증강 기법이 손상 하에서 특징 학습에 어떤 영향을 미치는지 분석한다.

실험 결과

연구 질문

• RQ1 최신 SOTA ReID 모델은 다양한 이미지 손상 하에서 어떻게 성능을 내며, 청소된 환경 대비 성능 저하가 심각한가?
• RQ2 트랜스포머 기반 ReID 모델은 CNN 기반 모델보다 이미지 손상에 대해 더 강인한가?
• RQ3 학습 중 무작위 삭제의 확률을 높이면 실세계 이미지 손상에 대한 강인성이 향상되는가, 아니면 악화되는가?
• RQ4 모델의 합성 손상 간이성과 분포 이동이 있는 다른 데이터셋으로의 일반화 능력 간에 상관관계가 있는가?
• RQ5 향상된 데이터 증강 및 손실 함수 설계를 통해 강력하고 일반화 능력이 뛰어난 기반 모델을 구축할 수 있는가?

주요 결과

• 트랜스포머 기반 ReID 모델은 손상된 테스트 세트에서 일관되게 CNN 기반 모델을 능가하며, 손상된 벤치마크 전반에서 평균 10.5% 높은 mAP를 기록하여 노이즈 및 왜곡 하에서도 구조적 패턴을 더 잘 학습하는 능력을 보여준다.
• 학습 중 무작위 삭제 확률을 높일수록 모델의 손상된 데이터 간이성 간이성이 심각하게 저하되며, 평균 mAP가 최대 12% 감소하여, 이는 손상 하에서 분류 가능한 특징을 학습하는 데 방해가 된다는 것을 시사한다.
• 교차 데이터셋 일반화 성능은 손상 간이성과 함께 향상되며, 합성 손상 간이성이 높을수록 미리 보지 않은 데이터셋에서 최대 18% 높은 mAP를 기록한다. 이는 기존의 합성 손상 간이성이 실세계 분포 이동으로 일반화되지 않는다는 가정을 반박한다.
• 무작위 삭제, BNNeck, 식별 손실을 개선한 제안된 강력한 기반 모델은 다섯 개의 모든 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 표준 학습 대비 손상된 테스트 세트에서 최대 7.5% 높은 mAP를 기록하였다.
• SYSU-MM01 크로스 모달리티 벤치마크에서 최고 성능을 낸 방법(HCTL)은 손상된 조건에서 83.50% mAP를 기록했지만, 기반 모델은 이를 87.70% mAP로 향상시켜 뚜렷한 강인성 향상을 보였다.
• 본 연구는 합성 손상에 강인한 모델이 실세계 분포 이동으로의 일반화 능력이 뛰어나다는 것을 밝혀내었으며, 실세계 구현에 있어 손상 간이성 학습의 실용적 가치를 강조한다.