[논문 리뷰] Improving Adversarial Transferability via Neuron Attribution-Based Attacks

Jianping Zhang, Weibin Wu외 5명|arXiv (Cornell University)|2022. 03. 31.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 완전한 뉴런 기여도를 통해 더 정확한 뉴런 중요도 추정을 가능하게 하는 새로운 특징 수준 전이 기반 적대적 공격인 뉴런 기여도 기반 공격(NAA)을 제안한다. 효율적인 기여도 근사화와 모델 출력에 기여하는 뉴런의 가중치를 부여함으로써 NAA는 다양한 벤치마크에서 최신 기술 수준의 전이 가능성 성능을 달성하며, 기존 방법들을 크게 능가한다.

ABSTRACT

Deep neural networks (DNNs) are known to be vulnerable to adversarial examples. It is thus imperative to devise effective attack algorithms to identify the deficiencies of DNNs beforehand in security-sensitive applications. To efficiently tackle the black-box setting where the target model's particulars are unknown, feature-level transfer-based attacks propose to contaminate the intermediate feature outputs of local models, and then directly employ the crafted adversarial samples to attack the target model. Due to the transferability of features, feature-level attacks have shown promise in synthesizing more transferable adversarial samples. However, existing feature-level attacks generally employ inaccurate neuron importance estimations, which deteriorates their transferability. To overcome such pitfalls, in this paper, we propose the Neuron Attribution-based Attack (NAA), which conducts feature-level attacks with more accurate neuron importance estimations. Specifically, we first completely attribute a model's output to each neuron in a middle layer. We then derive an approximation scheme of neuron attribution to tremendously reduce the computation overhead. Finally, we weight neurons based on their attribution results and launch feature-level attacks. Extensive experiments confirm the superiority of our approach to the state-of-the-art benchmarks.

연구 동기 및 목표

• 기존 특징 수준 전이 기반 공격의 전이 가능성 제한성은 뉴런 중요도 추정의 부정확성 때문이므로 이를 해결하고자 한다.
• 심층 신경망의 중간 레이어에서 뉴런 중요도를 더 정확하게 측정하는 방법을 개발하고자 한다.
• 전체 뉴런 기여도의 계산 비용을 크게 줄이기 위해 효율적인 근사화 방법을 설계하고자 한다.
• 특징 수준 공격에서 기여도 기반 뉴런 가중치를 활용하여 블랙박스 환경에서의 적대적 예제 전이 가능성 향상을 도모하고자 한다.

제안 방법

• 방법은 중간 레이어의 각 뉴런이 모델 출력에 기여하는 기여도 값을 할당함으로써 완전성과 정확성을 확보한다.
• 전체 뉴런 기여도의 계산 비용을 크게 줄이기 위해 근사화 기법을 도입하여 실용적 구현을 가능하게 한다.
• 뉴런 기여도는 부호와 크기를 기반으로 양성 기여도와 음성 기여도로 분리된다.
• 공격는 양성 및 음성 기여도의 가중 조합을 최소화하며, 두 극성에 대해 동일한 가중치를 부여한다.
• 가중 특징 맵을 변형하여 다양한 모델 간 전이 가능성을 유지하는 적대적 예제를 생성한다.
• 얕은 또는 깊은 특징에 과적합되는 것을 방지하기 위해 중간 레이어(예: Mix4a/Mix5b)에 적용된다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 특징 수준 공격에서 뉴런 기여도가 더 정확하고 완전한 뉴런 중요도 측정을 가능하게 하는가?
• RQ2 뉴런 기여도의 근사화가 공격의 효율성과 전이 가능성에 어떤 영향을 미치는가?
• RQ3 전이 가능성 측면에서 네트워크의 어느 레이어가 특징 수준 공격에 가장 효과적인가?
• RQ4 전이 가능한 적대적 예제를 제작하기 위해 양성 및 음성 뉴런 기여도 사이의 최적 균형은 무엇인가?
• RQ5 기여도 값에 대한 다양한 변환 함수는 공격 성능에 어떤 영향을 미치는가?

주요 결과

• NAA는 ImageNet 벤치마크에서 기존 특징 수준 공격인 NRDM, FDA, FIA를 크게 능가하며 최신 기술 수준의 전이 가능성 성능를 달성한다.
• 중간 레이어(예: Mix4a/Mix5b)를 공격할 경우 얕거나 깊은 레이어보다 더 높은 전이 가능성을 보이며, 소스 모델의 특징에 과적합되는 것을 방지한다.
• 통합 단계 수(n)를 늘일수록 전이 가능성 향상이 이루어지며, n=30이 성능과 계산 비용 사이의 좋은 균형을 이룬다.
• γ=1로 설정할 경우 양성 및 음성 기여도를 동일하게 취급하므로 공격 성공률가 최고로 나타나, 두 극성이 모두 중요하다는 것을 시사한다.
• 기여도 값에 선형 함수를 사용할 경우 성능이 가장 우수하며, 높은 또는 낮은 값에 대한 선호도가 없다는 것을 시사한다.
• 선형 변환과 균형 잡힌 기여도 가중치 조합이 비방어 모델 및 적대적 훈련된 모델 모두에서 평균 공격 성공률를 가장 높게 유지한다.