[논문 리뷰] Intermediate Level Adversarial Attack for Enhanced Transferability

Qian Huang, Zeqi Gu외 6명|arXiv (Cornell University)|2018. 11. 20.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 4

한 줄 요약

이 논문은 중간 레이어에서의 편향을 최대화함으로써 백박스 전이성(transferability)을 향상시키기 위해 소스 모델의 특정 중간 레이어에서의 편향을 최적화하는 중간 수준 공격(Intermediate Level Attack, ILA)을 제안한다. 공격 대상이 되는 레이어는 다양한 모델 간에 공유되는 일반화 가능한 특징을 지닌 레이어로 선택되며, 이는 타겟 모델에 대한 사전 지식 없이도 성능을 향상시킨다. CIFAR-10 벤치마크에서 최신 기술 수준의 전이성 성능을 달성한다.

ABSTRACT

Neural networks are vulnerable to adversarial examples, malicious inputs crafted to fool trained models. Adversarial examples often exhibit black-box transfer, meaning that adversarial examples for one model can fool another model. However, adversarial examples may be overfit to exploit the particular architecture and feature representation of a source model, resulting in sub-optimal black-box transfer attacks to other target models. This leads us to introduce the Intermediate Level Attack (ILA), which attempts to fine-tune an existing adversarial example for greater black-box transferability by increasing its perturbation on a pre-specified layer of the source model. We show that our method can effectively achieve this goal and that we can decide a nearly-optimal layer of the source model to perturb without any knowledge of the target models.

연구 동기 및 목표

• 기존 적대적 공격가 소스 모델 아키텍처에 과적합되어 백박스 전이성이 떨어지는 문제를 해결한다.
• 특히 공유되고 일반화 가능한 특징을 지닌 중간 레이어를 공격하면 다양한 모델 간 전이성이 향상되는지 조사한다.
• 하이퍼파라미터 튜닝 중 타겟 모델 평가 없이도 최적의 중간 레이어를 선택할 수 있는 방법을 개발한다.
• 중간 레이어 내부의 고분산 채널을 공격하면 공유되는 정보를 손상시켜 전이성이 더욱 향상되는지 확인한다.

제안 방법

• 원래의 편향 방향을 유지하면서 특정 중간 레이어에서의 활성화 차이의 L2 노름을 최대화하는 반복 최적화 목표를 수립한다.
• 손실 함수를 정규화된 편향 크기와 원래 편향 방향과의余弦 유사도의 가중합으로 정의하여 구조적 일관성을 확보한다.
• 기존의 적대적 예제에 대해 미세조정 단계로 공격를 적용하며, 선택된 레이어에서의 편향을 개선하기 위해 반복적 기울기 업데이트를 수행한다.
• 채널 수준의 공격로 확장하기 위해 레이어 출력을 개별 채널 출력으로 대체하여 공격에 가장 유용한 채널을 선택할 수 있도록 한다.
• 데이터셋 전반에 걸친 채널 활성화 분산을 사용하여 공통적으로 모델 간 공유될 가능성이 높은 고정보 채널을 식별한다.
• 하이퍼파라미터 탐색 중 타겟 모델 평가 없이도 소스 모델의 레이어 손상 통계만을 사용하여 최적의 공격 레이어를 선정한다.

실험 결과

연구 질문

• RQ1 기본적으로 최종 레이어에 집중하는 표준 공격과 비교해, 소스 모델의 중간 레이어를 공격하는 것이 적대적 예측의 백박스 전이성 향상에 기여하는가?
• RQ2 다양한 타겟 모델 간 전이성이 높아지는 특정한 중간 레이어가 존재하는가?
• RQ3 타겟 모델 평가 없이도 소스 모델의 내부 통계만으로 최적의 공격 레이어를 선택할 수 있는가?
• RQ4 중간 레이어 내부의 고분산 채널을 공격하면 공유되고 일반화 가능한 특징을 손상시켜 전이성이 더욱 향상되는가?
• RQ5 ILA 손실 함수의 방향 유지 성분이 개선된 적대적 예제의 강건성과 전이성에 어떤 영향을 미치는가?

주요 결과

• ILA는 다양한 소스-타겟 모델 조합에서 백박스 전이성을 크게 향상시키며, 기준 공격 대비 평균 10.5%포인트 이상의 전이 성공률 향상을 기록한다.
• ResNet18을 소스 모델로 사용했을 때, ILA의 GoogLeNet에 대한 공격 성공률은 55.9%로, 표준 I-FGSM의 47.3%보다 8.6%포인트 향상되었다.
• 가장 정보가 많은 채널(가장 높은 활성화 분산)을 공격했을 경우, ILA로 생성된 적대적 예제는 GoogLeNet에서 34.5%의 공격 성공률을 기록했으며, 낮은 분산 채널 공격보다 뛰어난 성능을 보였다.
• 최적의 공격 레이어는 일반적이고 모델 간 공유되는 특징 표현이 유지되는 레이어로, 일반적으로 네트워크 중간부에 위치하며, 최종 레이어가 아니다.
• 하이퍼파라미터 튜닝 중 타겟 모델 평가 없이도 소스 모델의 레이어 손상 곡선 통계만을 사용하여 근사 최적의 레이어를 성공적으로 식별하였다.
• 손실 함수의 방향 유지 성분은 개선된 적대적 예제가 원래의 적대적 구조를 유지함으로써 소스 모델에서의 성능 저하를 방지한다.