[论文解读] Imbalanced Gradients: A New Cause of Overestimated Adversarial Robustness

Linxi Jiang, Xingjun Ma+3 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 65被引用 13

一句话总结

本文識別出「梯度不平衡」——一種此前被忽視的過高估計對抗魯棒性的原因——即在邊距損失中，某一項主導了梯度，從而誤導攻擊。作者提出邊距分解（MD）攻擊，將各個損失項分離並針對性地攻擊，使使用標籤平滑的防禦模型的PGD魯棒性降低超過23%，在十二種最先进模型中的六種中至少降低9%。

ABSTRACT

Evaluating the robustness of a defense model is a challenging task in adversarial robustness research. Obfuscated gradients, a type of gradient masking, have previously been found to exist in many defense methods and cause a false signal of robustness. In this paper, we identify a more subtle situation called \emph{Imbalanced Gradients} that can also cause overestimated adversarial robustness. The phenomenon of imbalanced gradients occurs when the gradient of one term of the margin loss dominates and pushes the attack towards to a suboptimal direction. To exploit imbalanced gradients, we formulate a \emph{Margin Decomposition (MD)} attack that decomposes a margin loss into individual terms and then explores the attackability of these terms separately via a two-stage process. We examine 12 state-of-the-art defense models, and find that models exploiting label smoothing easily cause imbalanced gradients, and on which our MD attacks can decrease their PGD robustness (evaluated by PGD attack) by over 23\%. For 6 out of the 12 defenses, our attack can reduce their PGD robustness by at least 9\%. The results suggest that imbalanced gradients need to be carefully addressed for more reliable adversarial robustness.

研究动机与目标

• 識別梯度遮蔽以外的新原因，導致對抗魯棒性被過高估計。
• 研究邊距損失組成部分中的梯度不平衡如何扭曲攻擊方向並損害魯棒性評估。
• 開發一種針對性攻擊方法，以揭露防禦模型中由梯度不平衡引起的弱點。
• 評估梯度不平衡對最先进防禦模型的影響，特別是使用標籤平滑的模型。

提出的方法

• 邊距分解（MD）攻擊將邊距損失分解為單獨的項，以分離其對梯度的貢獻。
• 該方法採用兩階段流程：首先識別最脆弱的單獨損失項；其次針對這些項實施針對性攻擊。
• 其利用了一個主要梯度項可能誤導攻擊至次優方向的事實，進而產生錯誤的魯棒性信號。
• 該攻擊應用於十二種最先进防禦模型，特別聚焦於使用標籤平滑的模型，這些模型尤其容易受到梯度不平衡的影響。
• 該方法在分解並針對單獨損失組成部分後，使用PGD攻擊評估魯棒性。
• 該方法揭示，單一項的梯度主導會顯著扭曲模型的真實魯棒性。

实验结果

研究问题

• RQ1 除了梯度遮蔽之外，什麼是導致防禦模型過高估計對抗魯棒性的原因？
• RQ2 邊距損失組成部分中的梯度不平衡如何影響對抗攻擊的有效性？
• RQ3 使用標籤平滑的防禦模型在多大程度上表現出梯度不平衡，並遭受錯誤的魯棒性評估？
• RQ4 一種能分離單獨損失項的針對性攻擊策略，是否能揭露強健模型中的隱藏弱點？
• RQ5 當攻擊被設計為利用梯度不平衡時，魯棒性會降低多少？

主要发现

• 梯度不平衡，即邊距損失中某一項主導，導致防禦模型的對抗魯棒性被過高估計。
• 所提出的邊距分解（MD）攻擊使使用標籤平滑的防禦模型的PGD魯棒性降低超過23%。
• 在所評估的十二種最先进防禦模型中，有六種的PGD魯棒性降低至少9%。
• 由於其訓練目標，使用標籤平滑的防禦模型特別容易受到梯度不平衡的影響。
• 結果表明，梯度不平衡是導致可靠魯棒性評估受損的一個顯著且此前被忽視的因素。