[논문 리뷰] Transferable, Controllable, and Inconspicuous Adversarial Attacks on Person Re-identification With Deep Mis-Ranking

Hongjun Wang, Guangrun Wang외 3명|arXiv (Cornell University)|2020. 04. 08.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 깊이 있는 잘못된 랭킹 설정 공식을 사용하여 개인 재식별(ReID) 시스템을 대상으로 이식 가능하고 제어 가능하며 눈에 띄지 않는 적대적 공격 프레임워크를 제안한다. 이식 가능한 표현 학습을 위한 다단계 특징 피라미드 네트워크와 픽셀 제어를 위한 미분 가능 다중 샷 샘플링을 활용함으로써, Market1501에서 ReID 정확도가 91.8%에서 1.4%로 감소하는 결과를 도출하여 최신 모델의 심각한 취약성을 입증한다.

ABSTRACT

The success of DNNs has driven the extensive applications of person re-identification (ReID) into a new era. However, whether ReID inherits the vulnerability of DNNs remains unexplored. To examine the robustness of ReID systems is rather important because the insecurity of ReID systems may cause severe losses, e.g., the criminals may use the adversarial perturbations to cheat the CCTV systems. In this work, we examine the insecurity of current best-performing ReID models by proposing a learning-to-mis-rank formulation to perturb the ranking of the system output. As the cross-dataset transferability is crucial in the ReID domain, we also perform a back-box attack by developing a novel multi-stage network architecture that pyramids the features of different levels to extract general and transferable features for the adversarial perturbations. Our method can control the number of malicious pixels by using differentiable multi-shot sampling. To guarantee the inconspicuousness of the attack, we also propose a new perception loss to achieve better visual quality. Extensive experiments on four of the largest ReID benchmarks (i.e., Market1501 [45], CUHK03 [18], DukeMTMC [33], and MSMT17 [40]) not only show the effectiveness of our method, but also provides directions of the future improvement in the robustness of ReID systems. For example, the accuracy of one of the best-performing ReID systems drops sharply from 91.8% to 1.4% after being attacked by our method. Some attack results are shown in Fig. 1. The code is available at https://github.com/whj363636/Adversarial-attack-on-Person-ReID-With-Deep-Mis-Ranking.

연구 동기 및 목표

• 현실 세계의 감시 환경에서 최신 ReID 모델이 적대적 공격에 얼마나 취약한지 조사하기 위해.
• 기존의 분류 기반 모델을 대상으로 한 방법들과 달리, 랭킹 기반 ReID 시스템에 특화된 효과적인 적대적 공격 방법의 부족을 보완하기 위해.
• 모델에 대한 액세스 없이도 새로운 데이터셋에 대해 강력한 교차 데이터셋 이식 가능성을 확보하는 블랙박스 공격을 개발하기 위해.
• 공격에 영향을 받는 픽셀 수를 제어하고, 새로운 손실 함수를 통해 시각적 품질을 향상시킴으로써 외관적으로 눈에 띄지 않도록 보장하기 위해.
• 적대적 훈련과 취약한 신체 부위에 대한 주의를 통해 ReID의 강인성을 향상시키기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• ReID 모델의 랭킹 출력을 직접 공격하는 러닝-투-멀티랭킹 공식을 제안하여, 잘못된 랭킹 손실을 사용해 모델이 정확한 매칭을 높은 순위로 랭킹하는 능력을 떨어뜨린다.
• 다양한 수준의 특징을 피라미드 방식으로 융합하는 다단계 네트워크 아키텍처를 도입하여 적대적 편향에 대한 일반적이고 이식 가능한 표현을 추출한다.
• 미분 가능한 다중 샷 샘플링을 활용해 공격에 영향을 받는 픽셀 수를 제어함으로써 공격의 시각적 노출도와 영향력을 세밀하게 제어할 수 있다.
• 시각적 품질을 유지하고 인간 관찰자에게 눈에 띄지 않도록 하기 위해 시각 기반 손실 함수를 설계한다.
• 시각 품질을 위해 초점이 맞춰진 하이퍼파라미터를 조정한 종합 손실(잘못된 랭킹 손실, 시각적 손실, 적대적 일致성 손실)을 사용하여 공격자 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 분류 오류를 유도하는 대신 갤러리 이미지의 랭킹을 조작하는 방식으로 적대적 공격가 최신 ReID 모델의 성능을 효과적으로 떨어뜨릴 수 있는가?
• RQ2 특정 ReID 데이터셋 간의 이식 가능성을 확보할 수 있으며, 특히 모델에 대한 액세스 없이도 작동하는 블랙박스 환경에서 어떻게 달성할 수 있는가?
• RQ3 공격 성공률을 유지하면서도 시각적 왜곡을 최소화하면서 공격에 영향을 받는 픽셀 수를 어느 정도까지 제어할 수 있는가?
• RQ4 제안된 공격가 여전히 ReID 시스템에 치명적인 실패를 일으키면서도 시각적으로 눈에 띄지 않게 유지될 수 있는가?
• RQ5 이 공격이 실제 상용 AI 서비스, 예를 들어 상용 ReID 또는 속성 인식 API에 일반화되는가?

주요 결과

• 제안된 공격은 Market1501에서 최신 모델(AlignedReID)의 ReID 정확도를 91.8%에서 1.4%로 감소시켜 극도로 취약한 상태임을 입증한다.
• 강력한 교차 데이터셋 이식 가능성을 확보하여, Market1501, CUHK03, DukeMTMC, MSMT17의 네 가지 주요 벤치마크에서 성능 저하를 성공적으로 유도한다.
• 미분 가능한 다중 샷 샘플링 메커니즋试로 공격에 영향을 받는 픽셀 수를 정밀하게 제어할 수 있었으며, 낮은 공격 강도에서도 시각적 품질이 유지되었다.
• 시각적 손실은 적대적 예제의 시각적 품질을 크게 향상시켜 인간 관찰자에게 더 감지되지 않도록 했다.
• 실제 상용 API(Baidu의 Human Detection and Attributes API)를 성공적으로 속였으며, 배낭을 지닌 사람을 배낭이 없는 것으로 잘못 분류했다.
• 이 방법은 ReID를 넘어서 일반 이미지 분류 모델에 대해서도 효과적이었으며, CIFAR10에서 몇 가지 최신 화이트박스 공격을 능가하는 성능을 보였다.