[논문 리뷰] Adversarial Metric Attack and Defense for Person Re-identification

Song Bai, Yingwei Li외 3명|arXiv (Cornell University)|2019. 01. 30.

Adversarial Robustness in Machine Learning참고 문헌 51인용 수 9

한 줄 요약

이 논문은 사람 재식별(re-ID) 시스템의 거리 척도를 특별히 공격하기 위해 갤러리 이미지에 눈에 띄지 않는 교란을 가하는 새로운 방법인 적대적 척도 공격(Adversarial Metric Attack)을 제안한다. 이 공격은 재식별 성능을 심각하게 떨어뜨리며, mAP를 77.52%에서 최소 51.03%까지 낮춘다. 또한 척도 유지를 위한 방어 전략을 제안하여 적대적 갤러리 세트에서 성능을 최대 185% 향상시킨다.

ABSTRACT

Person re-identification (re-ID) has attracted much attention recently due to its great importance in video surveillance. In general, distance metrics used to identify two person images are expected to be robust under various appearance changes. However, our work observes the extreme vulnerability of existing distance metrics to adversarial examples, generated by simply adding human-imperceptible perturbations to person images. Hence, the security danger is dramatically increased when deploying commercial re-ID systems in video surveillance. Although adversarial examples have been extensively applied for classification analysis, it is rarely studied in metric analysis like person re-identification. The most likely reason is the natural gap between the training and testing of re-ID networks, that is, the predictions of a re-ID network cannot be directly used during testing without an effective metric. In this work, we bridge the gap by proposing Adversarial Metric Attack, a parallel methodology to adversarial classification attacks. Comprehensive experiments clearly reveal the adversarial effects in re-ID systems. Meanwhile, we also present an early attempt of training a metric-preserving network, thereby defending the metric against adversarial attacks. At last, by benchmarking various adversarial settings, we expect that our work can facilitate the development of adversarial attack and defense in metric-based applications.

연구 동기 및 목표

• 분류 기반 적대적 공격에 비해 아직 탐색이 부족한 척도 기반 사람 재식별 시스템의 취약성을 조사하기 위해.
• 기존 분류 공격이 쌍별 거리 척도를 손상시키지 못하는 바탕이 되는 재식별에서 훈련(분류 손실)과 테스트(척도 기반 추론) 사이의 자연스러운 격차를 해결하기 위해.
• 분류 경계가 아닌 거리 척도를 직접 조작하기 위해 설계된 새로운 공격 패러다임인 적대적 척도 공격(Adversarial Metric Attack)을 제안하기 위해.
• 적대적 예제를 사용해 척도 유지 네트워크를 훈련하고, 공격 상황에서도 강건성을 유지할 수 있도록 방어 전략을 개발하고 평가하기 위해.
• 화이트박스,_BLK박스, 타겟 설정, 비타겟 설정, 단일/다중 모델 등 다양한 적대적 설정을 벤치마킹하고, 재현 가능성과 향후 연구를 위해 코드를 공개하기 위해.

제안 방법

• 분류 공격과 병렬적으로 작동하는 프레임워크로, 재식별에서 사용하는 척도 함수를 공격 대상으로 삼는 적대적 척도 공격을 제안한다.
• 반복적 기울기 기반 방법(예: I-FGSM, MI-FGSM)을 사용해, 프로브와 진짜 양성 갤러리 이미지 간의 유사도를 최소화하고, 가짜 양성 간의 유사도를 최대화하는 적대적 교란을 생성한다.
• 화이트박스 및 블랙박스 설정 모두에서 단일 모델 및 다중 모델 공격을 적용하여 이동성과 강건성을 평가한다.
• 제안된 공격를 통해 생성된 적대적 예제를 사용해 척도 유지 네트워크를 훈련하여, 작은 교란에 대해 불변인 특징을 학습하고자 한다.
• 공격 및 평가 단계에서 여러 거리 척도(Euclidean, XQDA를 통한 마할라노비스)를 사용해 척도 호환성과 이동 효과를 연구한다.
• 시장-1501 및 DukeMTMC-reID에서 mAP와 랭크-1 정확도를 기준으로 다양한 적대적 설정과 교란 크기에서 성능을 벤치마킹한다.

실험 결과

연구 질문

• RQ1 분류 경계가 아닌 거리 척도를 직접 공격하는 적대적 공격에 대해 최신 기술의 사람 재식별 시스템은 얼마나 취약한가?
• RQ2 눈에 띄지 않는 교란이더라도 재식별에서 쌍별 유사도 점수를 효과적으로 조작할 수 있는가?
• RQ3 공격과 평가에 다른 거리 척도를 사용하면 적대적 강건성이 향상되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ4 적대적 예제를 사용해 척도 유지 네트워크를 훈련시킬 수 있으며, 이는 공격 상황에서도 성능을 유지할 수 있는가?
• RQ5 다양한 적대적 설정(예: 화이트박스 대 블랙박스, 타겟 설정 대 비타겟 설정)과 교란 크기에서 재식별 모델의 성능 저하 패턴은 어떻게 되는가?

주요 결과

• 적대적 척도 공격는 재식별 시스템의 성능을 극적으로 떨어뜨리며, Market-1501 데이터셋에서 정상 상태일 때 mAP 77.52%에서 적대적 교란 상황에서는 최소 51.03%까지 떨어진다.
• 이 공격는 작은 교란으로도 매우 효과적이며, 예를 들어 5픽셀 크기의 I-FGSM 공격는 B1 설정에서 mAP를 59.87%까지 떨어뜨린다.
• 공격와 평가에 다른 척도를 사용할 경우(예: 유클리드로 공격하고 XQDA로 평가) 강건성이 향상되며, 이는 블랙박스 이동성의 이점으로 볼 수 있다.
• 척도 유지 방어 전략은 적대적 갤러리 세트에서 성능을 최대 185% 향상시키며, 예를 들어 B3를 공격하고 B1에서 평가할 경우 mAP를 24.72%에서 70.46%까지 상승시킨다.
• 적대적 예제를 사용해 훈련하면 정상 세트 성능은 약간 감소(일般적으로 <10%)하지만, 적대적 세트에서는 상당한 성능 향상이 이루어져 효과적인 강건성 학습을 보여준다.
• 제안된 공격 프레임워크는 얼굴 인식 및 추적과 같은 다른 척도 기반 시스템에도 일반적으로 적용 가능하며, 안전이 중요한 응용 분야에 광범위한 함의를 지닌다.