[논문 리뷰] Universal Adversarial Perturbations Against Person Re-Identification.

Wenjie Ding, Xing Wei외 3명|arXiv (Cornell University)|2019. 10. 30.

Adversarial Robustness in Machine Learning참고 문헌 41인용 수 6

한 줄 요약

이 논문은 사람 재식별(re-ID) 모델을 공격하기 위해 보행자 임베딩의 랭킹 목록을 교란하는 방식으로, 이미지를 잘못 분류하는 대신 일반적인 적대적 페르투베이션(UAP)을 생성하는 새로운 방법을 제안한다. 리스트 위즈 손실과 총 변동성 최소화를 활용하여, 다양한 re-ID 모델과 데이터셋에서 높은 속임수 성공률를 달성하며 감시 시스템에서의 뚜렷한 강건성 회피 능력을 보여준다.

ABSTRACT

Person re-identification (re-ID) has made great progress and achieved high performance in recent years with the development of deep learning. However, as an application related to security issues, there are few researches considering the safety of person re-ID systems. In this paper, we attempt to explore the robustness of current person re-ID models against adversarial samples. Specifically, we attack the re-ID models using universal adversarial perturbations (UAPs), which are especially dangerous to the surveillance systems because it could fool most pedestrian images with a little overhead. Existing methods for UAPs mainly consider classification models, while the tasks in open set scenarios like re-ID are rarely explored. Re-ID attack is different from classification ones in the sense that the former discards decision boundary during test and cares more about the ranking list. Therefore, we propose an effective method to train UAPs against person re-ID models from the global list-wise perspective. Furthermore, to increase the impact of attack to different models and datasets, we propose a novel UAPs learning method based on total variation minimization. Extensive experiments validate the effectiveness of our proposed method.

연구 동기 및 목표

• 사람 재식별 모델이 일반적인 적대적 페르투베이션(UAP)에 취약한지 조사하여 감시 시스템에 심각한 위협이 되는지를 밝히는 것.
• 표준 이미지 분류와는 달리 결정 경계가 아닌 랭킹에 의존하는 오픈 세트 re-ID 작업을 대상으로 한 UAP 연구의 격차를 메우는 것.
• re-ID 모델의 전반적인 랭킹 행동에 맞춰 최적화된 UAP 생성 방법을 개발하여 실세계 배포 환경에서의 공격 효과를 향상시키는 것.
• 총 변동성 최소화 기반의 새로운 최적화 전략을 통해 UAP의 이식 가능성(transferability)을 향상시키는 것.

제안 방법

• UAP 생성을 리스트 위즈 최적화 문제로 공식화하여, 손실 함수가 상위 랭킹의 양성 샘플과 변형된 쿼리 간의 유사도를 최소화함으로써 re-ID 모델의 랭킹 성능을 저하시키도록 설계된다.
• 모델의 랭킹 출력을 직접 최적화하기 위해 새로운 리스트 위즈 손실 함수를 도입하여, 변형된 쿼리가 진짜 매칭 대상보다 낮게 랭크되도록 보장한다.
• 편향의 공간적 스무스함을 확보하고 이식 가능성과 시각적 인지 불가능성을 향상시키기 위해 UAP 학습 과정에 총 변동성(TV) 최소화를 통합한다.
• 단일의 일반적인 페르투베이션 패턴을 다양한 보행자 이미지에 효과적으로 적용할 수 있도록, 서rogate 모델을 사용해 엔드 투 엔드로 UAP를 최적화한다.
• 다양한 표준 re-ID 벤치마크에서 평가하여, 다양한 모델 아키텍처와 데이터 분포에서의 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 일반적인 적대적 페르투베이션은 보행자 임베딩의 랭킹을 교란시킴으로써 사람 재식별 모델의 성능을 효과적으로 떨어뜨릴 수 있는가?
• RQ2 기존의 포인트와이즈 또는 페어와이즈 손실과 비교할 때 리스트 위즈 손실 함수는 re-ID 작업에서 공격 성공률를 어떻게 향상시키는가?
• RQ3 총 변동성 최소화는 사람 재식별에서 UAP의 이식 가능성과 인지 불가능성을 어느 정도 향상시키는가?
• RQ4 제안된 UAP는 다양한 re-ID 모델과 데이터셋, 특히 오픈 세트 시나리오에서 어떻게 일반화되는가?

주요 결과

• 제안된 방법은 다양한 벤치마크 데이터셋에서 일반적인 페르투베이션 하에 재식별 모델의 성능이 크게 저하되었으며, 평균 정밀도(mAP)가 50퍼센트 이상 감소하였다.
• 리스트 위즈 손실 설계는 분류 스타일의 손실에 의존하는 기준선 방법과 비교해 랭킹 메커니즘을 직접 공격함으로써 더 효과적인 공격을 가능하게 하였다.
• 총 변동성 최소화를 통합함으로써 UAP의 이식 가능성 향상이 이루어졌으며, 새로운 모델과 데이터셋에 대해도 높은 성공률로 성공적인 공격가능성을 보였다.
• 다양한 자세, 조명, 시점에서 변형된 보행자 이미지에 적용되어도 일반화 능력이 뛰어나 강력한 일반화 능력을 입증하였다.