[논문 리뷰] A Person Re-identification Data Augmentation Method with Adversarial Defense Effect

Yunpeng Gong, Zhiyong Zeng외 4명|arXiv (Cornell University)|2021. 01. 21.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 8

한 줄 요약

이 논문은 사람 재식별(ReID)을 위한 다중 모odal 데이터 증강 방법을 제안하며, 적대적 공격에 대한 모델의 강건성을 향상시킨다. 국소/전역 회색조 패치 교체와 가시 영상, 회색조, 스케치 모달리티를 융합함으로써, 정확도를 0.2%에서 93.3%로 467배 향상시키고, ReID 벤치마크에서 MS-SSIM 기반 적대적 공격에 효과적으로 대응한다.

ABSTRACT

The security of the Person Re-identification(ReID) model plays a decisive role in the application of ReID. However, deep neural networks have been shown to be vulnerable, and adding undetectable adversarial perturbations to clean images can trick deep neural networks that perform well in clean images. We propose a ReID multi-modal data augmentation method with adversarial defense effect: 1) Grayscale Patch Replacement, it consists of Local Grayscale Patch Replacement(LGPR) and Global Grayscale Patch Replacement(GGPR). This method can not only improve the accuracy of the model, but also help the model defend against adversarial examples; 2) Multi-Modal Defense, it integrates three homogeneous modal images of visible, grayscale and sketch, and further strengthens the defense ability of the model. These methods fuse different modalities of homogeneous images to enrich the input sample variety, the variaty of samples will reduce the over-fitting of the ReID model to color variations and make the adversarial space of the dataset that the attack method can find difficult to align, thus the accuracy of model is improved, and the attack effect is greatly reduced. The more modal homogeneous images are fused, the stronger the defense capabilities is . The proposed method performs well on multiple datasets, and successfully defends the attack of MS-SSIM proposed by CVPR2020 against ReID [10], and increases the accuracy by 467 times(0.2% to 93.3%).The code is available at https://github.com/finger-monkey/ReID_Adversarial_Defense.

연구 동기 및 목표

• 딥 러닝 모델이 사람 재식별(ReID)에서 적대적 공격에 취약한 점을 해결한다.
• 다중 모달 데이터 증강을 통해 입력 샘플의 다양성을 증가시켜 모델의 일반화 능력을 향상시킨다.
• 추가적인 추론 시기 방어가 필요 없이 훈련 과정에 내장된 방어 메커니즘을 개발한다.
• 색상 변형에 대한 과적합을 줄이고, 동일한 모달리티로 특징 공간을 풍부하게 하여 적대적 공격 성공을 방해한다.
• 최신의 적대적 공격, 예를 들어 CVPR 2020에서 제안된 MS-SSIM 기반 공격에 대한 강건성을 입증한다.

제안 방법

• 국소적인 이미지 패치를 그들의 회색조 복제본으로 교체하여 局소적 변형에 대한 강건성을 향상시키는 국소 회색조 패치 교체(LGPR)를 도입한다.
• 더 큰 전역 영역을 회색조 버전으로 교체하여 구조적 불변성을 향상시키는 전역 회색조 패치 교체(GGPR)를 구현한다.
• 훈련 중에 가시 영상, 회색조, 스케치의 세 가지 동일한 모달리티를 하나의 다중 모달 입력으로 융합하여 특징 학습 과정의 다양성을 높인다.
• 다중 모달 융합을 통해 색상에 특화된 패턴에 대한 과적합을 줄이고 색상 변화에 대한 모델의 불변성을 증가시킨다.
• 증강된 다중 모달 데이터를 사용해 ReID 모델을 엔드 투 엔드로 훈련시켜, 강건하고 이식 가능한 특징을 학습하도록 한다.
• 적대적 공간 내에서의 다양성을 증가시켜 공격자가 모델을 속이기 위한 일치하는 변형을 찾는 것을 더 어렵게 한다.

실험 결과

연구 질문

• RQ1 회색조와 스케치 모달리티를 포함하는 데이터 증강 기법이 ReID 모델의 적대적 공격에 대한 강건성을 향상시킬 수 있는가?
• RQ2 다중 모달 데이터 융합이 ReID 모델에서 색상 변형에 대한 과적합을 어느 정도 줄이는가?
• RQ3 제안된 방법이 ReID 벤치마크에서 MS-SSIM 기반 적대적 공격에 대해 얼마나 효과적인가?
• RQ4 국소 회색조 패치 교체(LGPR)와 전역 회색조 패치 교체(GGPR)의 통합이 정확도 향상과 적대적 방어를 동시에 향상시키는가?
• RQ5 동일한 모달리티의 수를 늘일 경우 모델의 방어 능력과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 적대적 공격 하에서 ReID 정확도를 0.2%에서 93.3%로 467배 향상시켰다.
• CVPR 2020에서 제안된 MS-SSIM 기반 적대적 공격에 대해 모델이 성공적으로 방어하여 강력한 강건성을 입증했다.
• 가시 영상, 회색조, 스케치 이미지의 다중 모달 융합이 모델의 일반화 능력을 크게 향상시키고 색상 변화에 대한 과적합을 줄였다.
• LGPR와 GGPR의 조합은 국소 및 전역 이미지 변형에 대한 구조적 불변성을 도입함으로써 모델의 강건성을 향상시켰다.
• 융합된 모달리티의 수를 늘일수록 방어 능력이 강화되어, 모달리티 다양성과 적대적 강건성 사이에 양의 상관관계가 있음을 시사한다.
• 다양한 ReID 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 미세하고 눈에 띄지 않는 적대적 변형에 대한 강력한 방어 능력을 유지했다.