[논문 리뷰] Towards Good Practices in Evaluating Transfer Adversarial Attacks

Zhengyu Zhao, Hanwei Zhang외 4명|arXiv (Cornell University)|2022. 11. 17.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 전이 적대적 공격 평가를 위한 양호한 관행을 제안하며, 공격을 체계적인 다섯 가지 유형으로 분류하고 전이 가능성과 침투성(stealthiness)을 동시에 평가하는 종합적인 평가 프레임워크를 도입한다. 공정한 일대일 비교를 통해 놀라운 결과들이 드러나는데, 예를 들어 동일한 설정에서 DI가 더 최신의 입력 증강 공격보다 뛰어난 성능을 보이며, 같은 $L_\infty$ 노름 조건에서도 공격 간 침투성의 차이가 심각하게 다름을 확인하였으며, 시각적 인지 지표와 오분류 패턴을 통해 공격 추적(traceback)가 가능할 수 있음을 시사한다.

ABSTRACT

Transfer adversarial attacks raise critical security concerns in real-world, black-box scenarios. However, the actual progress of this field is difficult to assess due to two common limitations in existing evaluations. First, different methods are often not systematically and fairly evaluated in a one-to-one comparison. Second, only transferability is evaluated but another key attack property, stealthiness, is largely overlooked. In this work, we design good practices to address these limitations, and we present the first comprehensive evaluation of transfer attacks, covering 23 representative attacks against 9 defenses on ImageNet. In particular, we propose to categorize existing attacks into five categories, which enables our systematic category-wise analyses. These analyses lead to new findings that even challenge existing knowledge and also help determine the optimal attack hyperparameters for our attack-wise comprehensive evaluation. We also pay particular attention to stealthiness, by adopting diverse imperceptibility metrics and looking into new, finer-grained characteristics. Overall, our new insights into transferability and stealthiness lead to actionable good practices for future evaluations.

연구 동기 및 목표

• 전이 적대적 공격 연구에서 체계적이고 공정한 평가 관행의 부족을 해결한다.
• 기존 평가에서 발생하는 편향을 특정하고 수정한다. 예를 들어, A+B와 B를 비평행적 구성에서 비교하는 것과 같이, 새로운 공격을 오래된 공격과 비교하는 방식이다.
• 기존 평가에서 $L_p$ 노름 외에 침투성에 대한 중시 부족을 부각한다.
• ImageNet에서 23개의 전이 공격과 9개의 방어 방법에 대해 종합적이고 유형 기반 평가를 수행하여 실질적인 기준을 확립한다.
• 표준화된 지표와 공개된 코드베이스를 제공함으로써 향후 연구가 공격을 더 의미 있게 평가할 수 있도록 지원한다.

제안 방법

• 전이 공격를 다섯 가지 유형(예: 기울기 안정화, 입력 증강, 특징 방해, 대체 모델 개선, 생성 모델링)으로 분류하는 체계적 분류 체계를 제안하여 유형 내 및 유형 간 비교를 가능하게 한다.
• 일관된 초모수 설정(예를 들어 증강 기반 공격의 입력 복제 수 포함)을 사용하여 유형 내 및 유형 간 일대일 비교를 수행한다.
• $L_p$ 노름 외에 다양한 인지 지표(예: SSIM, FID, LPIPS)를 도입하여 침투성을 보다 효과적으로 평가한다.
• 왜곡 패턴을 기반으로 ResNet18 분류기를 훈련시켜 공격가의 왜곡 서명을 구별할 수 있는지 평가한다.
• 상위 5개 클래스 오분류 패턴을 분석하여 서로 다른 공격 유형이 예측 행동에 어떻게 다른 영향을 미치는지 탐색한다.
• 5000장의 ImageNet 이미지에서 대규모 평가를 수행하여 23개의 공격과 9개의 방어 방법을 대상으로 다수의 지표와 유형 기반으로 결과를 보고한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 전이 적대적 공격를 체계적으로 분류하여 공정하고 종합적인 평가를 가능하게 할 수 있는가?
• RQ2 기존 평가 관행이 비일관된 초모수 설정이나 비평행적 비교로 인해 얼마나 심각한 편향을 유발하는가?
• RQ3 동일한 $L_\infty$ 노름 조건에서도 다양한 전이 공격 유형 간 침투성(다양한 인지 지표로 측정)은 어떻게 달라지는가?
• RQ4 왜곡 패턴과 오분류 행동을 통해 서로 다른 공격 유형을 식별할 수 있는가? 이는 공격 추적 가능성을 시사하는가?
• RQ5 이러한 발견은 향후 전이 공격 및 방어 방법의 설계와 평가에 어떤 영향을 미치는가?

주요 결과

• 입력 증강 공격 중 가장 오래된 공격인 DI는 동일한 입력 복제 수를 사용하는 공정한 비교에서 그 이후의 모든 공격보다 뛰어난 성능을 보이며, 더 최신의 방법이 본질적으로 더 나을 것이라는 가정을 뒤집는 결과를 보였다.
• 기울기 안정화 공격에서 반복 횟수를 늘릴수록 성능이 악화되는 경향이 있으며, 이는 반복 횟수가 많을수록 전이 가능성 향상이라는 일반적인 가정과 정면으로 배치된다.
• 모든 전이 공격이 PGD에 비해 인지 불가능성(imperceptibility)을 희생시키며, 특히 생성 모델링 공격(예: CDA)는 높은 FID 점수와 이미지에 관계없이 반복적인 패턴을 유도하여 가장 눈에 띄는 왜곡을 유발한다.
• ResNet18으로 분류했을 때 서로 다른 공격에서 유도된 왜곡 패턴은 매우 잘 분리 가능하며, 유형 내 공격는 유형 간 공격보다 분리도가 낮은 편이었으며, 이는 제안된 분류 체계의 효과성을 입증한다.
• 다른 공격 유형은 서로 다른 오분류 패턴을 유도한다: 기울기 안정화 및 입력 증강 공격는 균일한 클래스 분포를 유도하지만, 생성 모델링 공격(예: CDA)는 거의 모든 이미지를 "하프" 같은 하나의 클래스로 오분류한다.
• RFA∞ 공격는 의미 구조에 맞는 왜곡을 유도하여 이미지의 구조를 더 잘 유지함으로써 가장 높은 SSIM 점수를 기록하였다.