[논문 리뷰] Revisiting Transferable Adversarial Images: Systemization, Evaluation, and New Insights

Zhengyu Zhao, Hanwei Zhang외 7명|arXiv (Cornell University)|2023. 10. 18.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 ImageNet에서 이식 가능한 적대적 공격을 위한 체계적인 평가 프레임워크를 제안하며, 평가 관행의 결함을 해결하기 위해 새로운 공격 분류 체계와 공정한 초모수 설정을 제안한다. 이는 초기 공격인 DI가 공정한 조건에서 더 나은 성능을 보이며, DiffPure는 블랙박스 공격에 의해 우회되며, 동일한 $L_p$ 노름 조건에서도 도청 가능성의 차이가 심각하게 나타나는 등, 이전의 이식 가능성과 인지 불가능성에 대한 가정을 도전한다.

ABSTRACT

Transferable adversarial images raise critical security concerns for computer vision systems in real-world, black-box attack scenarios. Although many transfer attacks have been proposed, existing research lacks a systematic and comprehensive evaluation. In this paper, we systemize transfer attacks into five categories around the general machine learning pipeline and provide the first comprehensive evaluation, with 23 representative attacks against 11 representative defenses, including the recent, transfer-oriented defense and the real-world Google Cloud Vision. In particular, we identify two main problems of existing evaluations: (1) for attack transferability, lack of intra-category analyses with fair hyperparameter settings, and (2) for attack stealthiness, lack of diverse measures. Our evaluation results validate that these problems have indeed caused misleading conclusions and missing points, and addressing them leads to new, extit{consensus-challenging} insights, such as (1) an early attack, DI, even outperforms all similar follow-up ones, (2) the state-of-the-art (white-box) defense, DiffPure, is even vulnerable to (black-box) transfer attacks, and (3) even under the same $L_p$ constraint, different attacks yield dramatically different stealthiness results regarding diverse imperceptibility metrics, finer-grained measures, and a user study. We hope that our analyses will serve as guidance on properly evaluating transferable adversarial images and advance the design of attacks and defenses. Code is available at https://github.com/ZhengyuZhao/TransferAttackEval.

연구 동기 및 목표

• 이식 가능한 적대적 공격 연구에서의 일관성 없고 체계적이지 않은 평가 관행을 해결하기 위해.
• 현재의 벤치마크에 내재된 결함, 특히 공정한 초모수 설정 부족과 부적절한 도청 가능성 비교를 특정하기 위해.
• 이식 가능성과 도청 가능성에 중점을 두어, 세밀한 인지 불가능성 지표와 공격 추적 분석을 포함한 새로운 평가 지침을 수립하기 위해.
• ImageNet에서 23개의 공격과 9개의 방어 방법에 대해 대규모, 공정하고 체계적인 평가를 제공하기 위해.
• 실증 분석을 통해 기존의 공격 성능과 방어 강건성에 대한 가정을 도전하기 위해.

제안 방법

• 공격 파이프라인의 핵심 구성요소를 기반으로 이식 가능한 공격의 새로운 분류 체계를 제안하여, 동일 카테고리 내 비교를 체계적으로 가능하게 한다.
• 각 공격 카테고리 내에서 일관된 초모수 설정을 적용하여 성능 평가의 공정성을 확보한다.
• 다양한 5종의 인지 불가능성 지표와 공격 추적 및 오분류 패턴을 기반으로 한 두 가지 새로운 세밀한 도청 가능성 측정 지표를 도입한다.
• 비표적 및 표적 설정을 모두 활용하여 ImageNet에서 대규모 평가를 수행하며, 23개의 대표적 공격과 9개의 방어 방법을 대상으로 한다.
• 편향 패턴과 적대적 예측의 클래스 분포를 분석하여 도청 가능성과 추적 가능성을 평가한다.
• 입력 증강 공격에서 입력 복제 수를 중간 수준(N=5)으로 설정하여 표현력과 노이즈 사이의 균형을 확보하고, 최적의 공격 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 공정한, 카테고리 내 초모수 설정 조건에서 서로 다른 이식 가능한 공격 방법은 어떻게 비교되는가?
• RQ2 도청 가능성은 $L_p$ 노름을 초월하여 이식 가능성에 어떤 영향을 미치며, 다양한 지표 간의 상관관계는 어떠한가?
• RQ3 오분류 패턴을 활용한 공격 추적은 효과적으로 수행될 수 있는가, 그리고 어떤 공격 유형이 가장 추적 가능성이 높은가?
• RQ4 DiffPure와 같은 최신 방어 기법은 블랙박스 이식 가능한 공격에서 어떻게 작동하며, 실제로 보안을 제공하는가?
• RQ5 왜 생성 모델 기반 공격은 항상 적대적 예측을 하나의 주요 클래스로 오분류하는가, 이는 도청 가능성에 어떤 함의를 갖는가?

주요 결과

• 공정한 초모수 설정 조건에서 초기 공격인 DI가 이후의 모든 방법보다 이식 가능성에서 뛰어난 성능을 보이며, 더 나은 공격이 항상 최신 기법이라는 가정을 도전한다.
• 최첨단로 평가되지만, DiffPure는 블랙박스 이식 가능한 공격에 의해 대부분 우회되며, 잘못된 안전감을 유도한다.
• 동일한 $L_{ty}$ 노름으로 제한되더라도 공격 간 도청 가능성 성능에 뚜렷한 격차가 있으며, 이는 이식 가능성과 부정적 상관관계를 보인다.
• 생성 모델 기반 공격는 매우 이미지에 의존하지 않는 편향을 생성하여 입력을 항상 하나의 주요 클래스로 오분류한다. 예를 들어 CDA에서는 "하프"로 지속적으로 오분류되며, 이는 매우 추적 가능함을 의미한다.
• 적대적 예측에서 가장 자주 오분류되는 클래스는 "뇌골라" 또는 "도자기 퍼즐"과 같은 문양 패턴을 반영하며, 이는 편향이 고주파 성격을 띤다는 것을 시사한다.
• 입력 증강 기반 공격에서 중간 수준의 입력 복제 수(N=5)가 표현력과 노이즈의 균형을 잘 맞추어 최적의 공격 정확도를 달성한다.