[논문 리뷰] GreedyFool: Distortion-Aware Sparse Adversarial Attack

Xiaoyi Dong, Dongdong Chen외 6명|arXiv (Cornell University)|2020. 10. 26.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 12

한 줄 요약

GreedyFool은 두 단계로 구성된, 왜곡을 고려한 희박한 적대적 공격으로, 기울기 기반 픽셀 선택과 GAN으로 생성된 왜곡 맵을 통한 위치 안내를 결합하여 희박성과 시각적 은폐성을 향상시킨다. 동일한 예산 하에서 SparseFool 대비 3배 적은 수의 변형된 픽셀을 사용하고, 목표 공격 성공률도 9.96% 높게 기록하여 희박성과 은폐성 측면에서 뛰어난 성능을 입증한다.

ABSTRACT

Modern deep neural networks(DNNs) are vulnerable to adversarial samples. Sparse adversarial samples are a special branch of adversarial samples that can fool the target model by only perturbing a few pixels. The existence of the sparse adversarial attack points out that DNNs are much more vulnerable than people believed, which is also a new aspect for analyzing DNNs. However, current sparse adversarial attack methods still have some shortcomings on both sparsity and invisibility. In this paper, we propose a novel two-stage distortion-aware greedy-based method dubbed as "GreedyFool". Specifically, it first selects the most effective candidate positions to modify by considering both the gradient(for adversary) and the distortion map(for invisibility), then drops some less important points in the reduce stage. Experiments demonstrate that compared with the start-of-the-art method, we only need to modify $3 imes$ fewer pixels under the same sparse perturbation setting. For target attack, the success rate of our method is 9.96\% higher than the start-of-the-art method under the same pixel budget. Code can be found at https://github.com/LightDXY/GreedyFool.

연구 동기 및 목표

• 기존의 희박한 적대적 공격이 희박성과 은폐성 측면에서 겪는 한계를 해결하기 위해.
• 공격 성공률을 유지하면서 변형된 픽셀 수를 줄이기 위해.
• 수작업으로 만든 지표 대신 학습된 왜곡 맵을 통합하여 은폐성을 향상시키기 위해.
• 효율성과 희박성 사이의 최적 균형을 달성하기 위해 동적으로 픽셀을 선택하고 제거하는 유연한 그레디 기반 방법을 개발하기 위해.

제안 방법

• 이 방법은 두 단계의 그레디 전략을 사용한다: 첫 번째 단계에서는 기울기와 왜곡 맵 안내에 기반해 가장 효과적인 픽셀을 반복적으로 선택하고, 두 번째 단계에서는 중요도가 낮은 픽셀을 제거하는 감소 단계를 거친다.
• 이미지 고유의 인지적 왜곡을 모델링하기 위해 GAN 기반의 왜곡 맵을 학습한다. 이 왜곡 맵은 덜 눈에 띄는 변형을 유도하는 방향으로 픽셀 선택을 안내한다.
• 왜곡 맵은 첫 번째 단계에서 위치 사전 지식으로 통합되어 고왜곡 영역을 피함으로써, 공격 성공률을 훼손하지 않으면서도 은폐성을 향상시킨다.
• 공격는 $ l_0 $-노름 제약 조건 하에서 수행되며, 최소한의 픽셀 수정으로도 적대적 성공률을 유지한다.
• 이 방법은 각 단계에서 기울기 크기와 왜곡 비용을 평가하여 변형 집합을 동적으로 조정한다.
• 방향 민감도 분석을 통해 노이즈 스케일 퍼센트일 때 방향 변화가 희박한 공격에서 성능 저하에 상당한 영향을 미친다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 두 단계의 그레디 접근 방식이 $ l_0 $-제약 조건이 있는 적대적 공격에서 희박성을 향상시킬 수 있는가?
• RQ2 학습된 왜곡 맵을 통합할 경우 희박한 적대적 공격의 은폐성과 성공률에 어떤 영향을 미치는가?
• RQ3 왜 희박한 공격에서는 공격 벡터의 방향이 조밀한 공격보다 더 민감한가?
• RQ4 감소 단계가 공격 성공률을 훼손하지 않고 희박성을 얼마나 더 향상시킬 수 있는가?
• RQ5 희박성과 목표 공격 성공률 측면에서 최신 기술 대비 제안된 방법은 어떤가?

주요 결과

• 10의 변형 임계값 하에서, GreedyFool은 ImageNet에서 222.5개의 변형된 픽셀만 필요로 하며, 이는 SparseFool의 615개 대비 3배 더 우수한 희박성을 확보한다.
• 255의 임계값에서 GreedyFool은 단지 27개의 픽셀만 변형하지만, SparseFool은 80.5개의 픽셀이 필요하다. 이는 희박성 측면에서의 뛰어난 성능을 확인한다.
• 200개 픽셀 예산 하에서 목표 공격 시, GreedyFool은 15.52%의 성공률을 기록하여 PGD₀의 5.56%보다 9.96%포인트 높다.
• 1000개 픽셀 예산에서 GreedyFool은 84.86%의 성공률을 기록했고, PGD₀는 64.20%였다. 이는 일관된 우수성을 보여준다.
• 왜곡 맵의 포함으로 분류기 정확도는 75.65%에서 68.50%로 떨어졌으며, 이는 왜곡 맵이 은폐성을 향상시키는 데 기여하고 있음을 확인한다.
• 방향 민감도 분석 결과, 노이즈 방향이 부호 방향(q=100)으로 변할 경우 변형된 픽셀 수가 1149.39로 증가하여 최적 상태(q=0)의 거의 두 배가 되었으며, 이는 희박한 공격에서 기울기 방향의 중요성을 강조한다.