[논문 리뷰] Imbalanced Gradients: A New Cause of Overestimated Adversarial Robustness

Linxi Jiang, Xingjun Ma외 3명|arXiv (Cornell University)|2021. 05. 04.

Adversarial Robustness in Machine Learning참고 문헌 65인용 수 13

한 줄 요약

이 논문은 과도하게 평가된 적대적 로버스트니의 원인으로 간과된 '불균형한 기울기'를 특정한다. 이는 마진 손실 내에서 한 항목이 기울기를 지배함으로써 공격을 오도하는 현상이다. 저자들은 개별 손실 항목을 분리하고 타겟으로 삼는 Margin Decomposition (MD) 공격을 제안하며, 레이블 스무딩 방식의 방어 모델에서는 PGD 로버스트니를 23% 이상 감소시키고, 12개의 최신 모델 중 6개에서는 최소 9% 감소시킨다.

ABSTRACT

Evaluating the robustness of a defense model is a challenging task in adversarial robustness research. Obfuscated gradients, a type of gradient masking, have previously been found to exist in many defense methods and cause a false signal of robustness. In this paper, we identify a more subtle situation called \emph{Imbalanced Gradients} that can also cause overestimated adversarial robustness. The phenomenon of imbalanced gradients occurs when the gradient of one term of the margin loss dominates and pushes the attack towards to a suboptimal direction. To exploit imbalanced gradients, we formulate a \emph{Margin Decomposition (MD)} attack that decomposes a margin loss into individual terms and then explores the attackability of these terms separately via a two-stage process. We examine 12 state-of-the-art defense models, and find that models exploiting label smoothing easily cause imbalanced gradients, and on which our MD attacks can decrease their PGD robustness (evaluated by PGD attack) by over 23\%. For 6 out of the 12 defenses, our attack can reduce their PGD robustness by at least 9\%. The results suggest that imbalanced gradients need to be carefully addressed for more reliable adversarial robustness.

연구 동기 및 목표

• 기울기 가림 이외의 새로운 원인을 특정하기 위해 과도하게 평가된 적대적 로버스트니의 원인을 규명하는 것.
• 마진 손실 구성 요소의 기울기 불균형이 공격 방향을 왜곡하고 로버스트니 평가를 손상시키는 방식을 조사하는 것.
• 방어 모델의 기울기 불균형으로 인한 취약점을 드러내는 타겟 공격 방법을 개발하는 것.
• 특히 레이블 스무딩을 사용하는 최신 방어 모델에서 기울기 불균형이 미치는 영향을 평가하는 것.

제안 방법

• Margin 분해(MD) 공격는 마진 손실을 개별 항목으로 분해하여 기울기 기여도를 분리한다.
• 이 방법은 이중 단계 과정을 사용한다: 첫 번째로 가장 취약한 개별 손실 항목을 식별하고, 두 번째로 해당 항목을 대상으로 타겟 공격을 적용한다.
• 이 공격는 한 개의 지배적 기울기 항목이 공격를 비효율적인 방향으로 오도하여 잘못된 로버스트니 신호를 유도할 수 있다는 사실을 악용한다.
• 이 공격는 레이블 스무딩을 사용하는 방어 모델에 특히 취약한 12개의 최신 방어 모델에 적용된다.
• 개별 손실 구성 요소를 분해하고 타겟으로 삼은 후, PGD 공격를 사용하여 로버스트니를 평가한다.
• 이 방법은 한 항목에서 기울기의 지배성이 모델의 진정된 로버스트니를 크게 왜곡할 수 있음을 드러낸다.

실험 결과

연구 질문

• RQ1 기울기 가림 이외에 방어 모델에서 과도하게 평가된 적대적 로버스트니의 원인은 무엇인가?
• RQ2 마진 손실 구성 요소의 기울기 불균형이 적대적 공격의 효과성에 어떤 영향을 미치는가?
• RQ3 레이블 스무딩 방어 모델은 얼마나 불균형한 기울기를 보이며, 잘못된 로버스트니 평가에 시달리는가?
• RQ4 개별 손실 항목을 분리하는 타겟 공격 전략은 겉보기에 강건한 모델의 숨겨진 취약점을 드러내는가?
• RQ5 불균형한 기울기를 악용하도록 설계된 공격에서 로버스트니는 얼마나 떨어지는가?

주요 결과

• 마진 손실 내에서 한 항목이 지배적으로 기울기를 차지하는 불균형한 기울기는 방어 모델에서 과도하게 평가된 적대적 로버스트니를 유도한다.
• 제안된 Margin Decomposition (MD) 공격는 레이블 스무딩 방어 모델에서 PGD 로버스트니를 23% 이상 감소시킨다.
• 평가된 12개의 최신 방어 모델 중 6개에 대해서는 MD 공격가 PGD 로버스트니를 최소 9% 감소시킨다.
• 레이블 스무딩 방어 모델은 학습 목적이기 때문에 불균형한 기울기의 영향을 특히 많이 받는다.
• 결과는 불균형한 기울기가 신뢰할 수 있는 로버스트니 평가를 약화시키는 중요한, 이전에 간과된 요인임을 입증한다.