[논문 리뷰] Fast Gradient Non-sign Methods

Yaya Cheng, Jingkuan Song외 4명|arXiv (Cornell University)|2021. 10. 25.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 4

한 줄 요약

이 논문은 ℓ∞ 제약 조건 하에서 기울기 기반 적대적 공격에서의 사인 연산에 대한 일반화 가능한 대체 방법인 빠른 기울기 비사인 방법(FGNM)을 제안한다. FGNM는 테일러 전개 기반 보정을 통해 진정한 기울기와 편향 간의 격차를 보정함으로써 방향성 편향을 감소시킨다. FGNM는 거의 추가적인 계산 부담 없이 최신 기준 성능을 달성하며, 무차별적 블랙박스 공격의 성공률을 최대 27.5% 향상시키고, 방어 모델에 대한 타겟 공격의 평균 성공률을 15.1% 향상시킨다.

ABSTRACT

Adversarial attacks make their success in DNNs, and among them, gradient-based algorithms become one of the mainstreams. Based on the linearity hypothesis, under $\ell_\infty$ constraint, $sign$ operation applied to the gradients is a good choice for generating perturbations. However, side-effects from such operation exist since it leads to the bias of direction between real gradients and perturbations. In other words, current methods contain a gap between real gradients and actual noises, which leads to biased and inefficient attacks. Therefore in this paper, based on the Taylor expansion, the bias is analyzed theoretically, and the correction of $sign$, i.e., Fast Gradient Non-sign Method (FGNM), is further proposed. Notably, FGNM is a general routine that seamlessly replaces the conventional $sign$ operation in gradient-based attacks with negligible extra computational cost. Extensive experiments demonstrate the effectiveness of our methods. Specifically, for untargeted black-box attacks, ours outperform them by 27.5% at most and 9.5% on average. For targeted attacks against defense models, it is 15.1% and 12.7%. Our anonymous code is publicly available at https://github.com/yaya-cheng/FGNM

연구 동기 및 목표

• ℓ∞ 제약 조건 하에서 기울기 기반 적대적 공격에서 사인 연산이 유도하는 방향성 편향을 해결하기 위해.
• 테일러 전개를 사용하여 사인 연산으로 인해 발생하는 진정한 기울기와 편향 간 격차를 이론적으로 분석하기 위해.
• 계산 비용을 증가시키지 않으면서도 이 편향을 보정하는 일반적이고 즉각 적용 가능한 방법—빠른 기울기 비사인 방법(FGNM)—을 제안하기 위해.
• 무차별적 및 타겟 공격을 포함한 다양한 환경에서 FGNM의 우수성을 실증적으로 검증하기 위해.
• 보정된 편향 방향이 더 효율적이고 효과적인 적대적 예제를 생성함을 보여주기 위해.

제안 방법

• 테일러 전개를 활용하여 사인 함수에 의해 유도되는 편차를 모델링함으로써 보정된 편향 방향을 유도한다.
• 표준 사인 연산을 진정한 기울기 방향과 더 가까이 유지하면서 크기를 유지하는 보정된 방향으로 대체한다.
• 보정은 두 단계 과정을 통해 수행된다: 첫째, 편향 방향을 진정한 기울기 방향과 일치시킨다; 둘째, ℓ∞ 노름 제약을 유지하기 위해 클립을 적용한다.
• 이 방법은 기존의 기울기 기반 공격에 쉽게 통합될 수 있도록 설계되어, 코드 수정 최소화를 목표로 한다.
• 두 가지 변형이 도입된다: FGNM N(고정 스케일)과 FGNM K(적응형 스케일)로, 크기와 방향 정확성 간의 균형을 맞춘다.
• 추가적인 순환 또는 복잡한 최적화를 피함으로써 계산 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 ℓ∞ 제약 조건 하에서 사인 연산은 기울기 기반 적대적 공격에서 어떻게 방향성 편향을 유도하는가?
• RQ2 진정한 기울기와 사인 기반 편향 간 격차는 얼마나 심각하게 공격 성능을 떨어뜨리는가?
• RQ3 테일러 전개 기반 보정은 이 방향성 편향을 줄이면서도 계산 효율성을 유지할 수 있는가?
• RQ4 사인 함수를 보정된 방향으로 대체하면, 무차별적 및 타겟 설정 모두에서 공격 성공률이 향상되는가?
• RQ5 상태의 최신 공격 방법과 비교해 FGNM은 방어 모델에 대해 어떻게 성능을 발휘하는가?

주요 결과

• FGNM N은 I-FGSM 대비 평균 2.1% 감소, MI-FGSM 대비 평균 11.2% 감소한 것으로 나타나, 더 효율적인 편향을 의미한다.
• FGNM N은 I-FGSM 대비 평균 0.4 증가한 코사인 유사도를 보이며, 방향성 편향 감소를 확인한다.
• 무차별적 블랙박스 공격의 경우, FGNM는 최신 기준 방법 대비 성공률을 최대 27.5% 향상시키고 평균 9.5% 향상시켰다.
• 방어 모델에 대한 타겟 공격의 경우, FGNM는 최대 성공률에서 15.1% 향상되었고 평균 성공률에서 12.7% 향상되었다.
• MI-FGNM N의 경우 제약 비율이 반복 10회에서 단지 15%에 불과하여, MI-FGSM보다 클리핑에 의한 왜곡이 훨씬 적고 방향 보존이 뛰어나다는 것을 시사한다.
• 시각화 결과는 FGNM N이 원본과 거의 구별되지 않는 적대적 예제를 생성하는 반면, FGNM K는 잡음 수준을 略도 증가시키지만 정상성은 유지함을 확인한다.