[논문 리뷰] Parallel Augmentation and Dual Enhancement for Occluded Person Re-identification

Zi wang, Huaibo Huang외 3명|arXiv (Cornell University)|2022. 10. 11.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 병렬 증강 기법(PAM)과 이중 강화 전략(DES)을 결합한 새로운 방법 PADE를 제안한다. PAM은 데이터 불균형 문제를 해결하기 위해 기존 이미지, 지워진 이미지, 자르기 이미지의 삼중조를 동시에 생성한다. DES는 전역 및 국소 특징을 상호로 강화하여 특징 표현을 향상시킨다. PADE는 보조 주석이나 모델 없이 다섯 개의 Re-ID 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Occluded person re-identification (Re-ID), the task of searching for the same person's images in occluded environments, has attracted lots of attention in the past decades. Recent approaches concentrate on improving performance on occluded data by data/feature augmentation or using extra models to predict occlusions. However, they ignore the imbalance problem in this task and can not fully utilize the information from the training data. To alleviate these two issues, we propose a simple yet effective method with Parallel Augmentation and Dual Enhancement (PADE), which is robust on both occluded and non-occluded data and does not require any auxiliary clues. First, we design a parallel augmentation mechanism (PAM) to generate more suitable occluded data to mitigate the negative effects of unbalanced data. Second, we propose the global and local dual enhancement strategy (DES) to promote the context information and details. Experimental results on three widely used occluded datasets and two non-occluded datasets validate the effectiveness of our method. The code is available at https://github.com/littleprince1121/PADE_Parallel_Augmentation_and_Dual_Enhancement_for_Occluded_Person_ReID

연구 동기 및 목표

• 훈련 데이터에서는 흐림이 드물지만 쿼리에서는 흐림이 흔한 부정확한 사람 재식별 문제에서 훈련과 테스트 데이터 간의 불균형을 해결한다.
• 다양한 증강된 훈련 샘플을 생성함으로써, 흐림 및 비흐림 데이터 모두에 대해 모델의 강건성을 향상시킨다.
• 특징 표현에서 전역적 맥락과 국소적 세부 정보를 상호로 강화함으로써 분류 능력을 향상시킨다.
• 자세, 세그멘테이션, 흐림 예측을 위한 추가 주석이나 사전 학습 모델에 의존하지 않는 플러그 앤 플레이 방식을 개발한다.

제안 방법

• 기본 증강(크기 조정), 지우기 증강(무작위 객체 마스킹), 자르기 증강(비정규형 자르기)을 동시에 적용하여 이미지 삼중조 [I_base, I_erased, I_cropped]를 생성하는 병렬 증강 기법(PAM)을 제안한다.
• 모든 세 이미지에서 전역 특징을 추출하기 위해 파rameter 공유된 ViT 기반 백본을 사용한다.
• 이중 강화 전략(DES)을 구현하여, 먼저 전역 맥락을 사용해 국소 특징을 강화하고, 그 다음 강화된 국소 세부 정보를 바탕으로 전역 특징을 보완한다.
• 강화 과정을 두 단계로 순차적으로 적용한다: (1) 전역 특징으로 국소 특징을 강화하고, (2) 강화된 국소 특징을 바탕으로 전역 특징을 보완한다.
• PAM과 DES를 모듈화하여 기존 Re-ID 모델과의 호환성을 확보하고 쉽게 통합할 수 있도록 한다.
• 특징의 분류 성능을 최적화하기 위해 삼중조 대비 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 다양한 흐림 및 비흐림 변형을 동시에 생성하는 병렬 데이터 증강 전략이 불균형한 흐림 Re-ID 데이터에서 모델 일반화 능력을 향상시키는가?
• RQ2 전역 맥락과 국소 세부 정보 간의 상호 강화가 고립된 강화보다 더 나은 특징 표현을 이끌어내는가?
• RQ3 제안된 방법이 보조 주석이나 외부 모델 없이 최신 기술 수준 성능을 달성할 수 있는가?
• RQ4 실세계 시나리오에서 점점 더 심한 흐림이 적용된 데이터로 테스트했을 때, 이 방법의 강건성은 어떠한가?

주요 결과

• PADE는 세 개의 흐림 및 두 개의 비흐림 기준 데이터셋을 포함한 다섯 개의 Re-ID 데이터셋에서 최신 기술 수준 성능을 달성한다.
• Occluded-Duke 데이터셋에서 PADE는 82.8% mAP와 91.3% Rank-1 정확도를 기록하여 이전 최신 기술 수준(SOTA) 방법들을 능가한다.
• 제거 실험 결과, PAM과 DES 모두 유의미한 기여를 하며, PAM만으로도 mAP가 5.2% 향상되고, DES 추가로 3.0% 더 향상됨을 확인했다.
• DukeMTMC-reID에서 흐림 수준을 점차 높여가며 테스트한 결과, PADE는 62.2% mAP와 81.2% Rank-1 성능을 유지하여 ViT base 및 TransReID보다 뚜렷이 뛰어난 성능을 보였다.
• OSNet, ViT base, TransReID 등 다양한 모델에서 표준 증강 기법을 PAM으로 대체하면 성능 향상이 일관되게 관찰되었다.
• 이 방법은 예상치 못한 흐림에 강건하며, 다양한 데이터셋과 백본 아키텍처에 대해 잘 일반화된다.