[論文レビュー] Imbalanced Gradients: A New Cause of Overestimated Adversarial Robustness

Linxi Jiang, Xingjun Ma+3 more|arXiv (Cornell University)|May 4, 2021

Adversarial Robustness in Machine Learning参考文献 65被引用数 13

ひとこと要約

本論文は、過小評価された adversarial robustness の原因として、以前に無視されてきた「勾配の不均衡（imbalanced gradients）」を特定した。これは、マージン損失における1つの項が勾配を支配し、攻撃を誤った方向に導く要因となる。著者らは、個々の損失項を分離して標的化する Margin Decomposition (MD) 攻撃を提案し、ラベルスムージングを用いた防御モデルでは PGD の robustness を 23% 以上低下させ、12 個の最先端モデルのうち6つでは少なくとも 9% の低下をもたらした。

ABSTRACT

Evaluating the robustness of a defense model is a challenging task in adversarial robustness research. Obfuscated gradients, a type of gradient masking, have previously been found to exist in many defense methods and cause a false signal of robustness. In this paper, we identify a more subtle situation called \emph{Imbalanced Gradients} that can also cause overestimated adversarial robustness. The phenomenon of imbalanced gradients occurs when the gradient of one term of the margin loss dominates and pushes the attack towards to a suboptimal direction. To exploit imbalanced gradients, we formulate a \emph{Margin Decomposition (MD)} attack that decomposes a margin loss into individual terms and then explores the attackability of these terms separately via a two-stage process. We examine 12 state-of-the-art defense models, and find that models exploiting label smoothing easily cause imbalanced gradients, and on which our MD attacks can decrease their PGD robustness (evaluated by PGD attack) by over 23\%. For 6 out of the 12 defenses, our attack can reduce their PGD robustness by at least 9\%. The results suggest that imbalanced gradients need to be carefully addressed for more reliable adversarial robustness.

研究の動機と目的

• 勾配マスキングの外に、過小評価された adversarial robustness の新たな原因を同定すること。
• マージン損失の成分における勾配の不均衡が攻撃の方向を歪め、robustness 評価を損なう仕組みを調査すること。
• 防御モデルにおける勾配不均衡に起因する脆弱性を露呈する標的攻撃手法を開発すること。
• 特にラベルスムージングを用いるモデルにおいて、勾配の不均衡が最先端の防御モデルの robustness 評価に与える影響を評価すること。

提案手法

• Margin Decomposition (MD) 攻撃は、マージン損失を個々の項に分解し、それぞれの項が勾配に与える寄与を分離する。
• 2段階のプロセスを用いる：まず、最も脆弱な個々の損失項を同定し、次にそれらの項に対して標的攻撃を適用する。
• 1つの支配的勾配項が攻撃を非最適な方向に導き、誤った robustness シグナルを生じさせることを活用する。
• ラベルスムージングを用いるモデルは勾配不均衡に特に脆弱であるため、12 個の最先端防御モデルに適用し、特にその分野に焦点を当てる。
• 個々の損失成分を分解・標的化した後、PGD 攻撃を用いて robustness を評価する。
• 勾配の支配的項がモデルの真の robustness を著しく歪めることが明らかになった。

実験結果

リサーチクエスチョン

• RQ1 勾配マスキングの外に、防御モデルにおける過小評価された adversarial robustness の原因は何であるか？
• RQ2 マージン損失の成分における勾配の不均衡が、adversarial 攻撃の有効性にどのように影響するか？
• RQ3 ラベルスムージングを用いる防御モデルは、どの程度勾配の不均衡を示し、誤った robustness 評価を受けるか？
• RQ4 個々の損失項を分離する標的攻撃戦略は、堅牢なモデルに隠れた脆弱性を露呈できるか？
• RQ5 勾配の不均衡を狙った攻撃が施された場合、robustness はどの程度低下するか？

主な発見

• マージン損失の1つの項が勾配を支配する勾配の不均衡が、防御モデルにおける過小評価された adversarial robustness を引き起こす。
• 提案された Margin Decomposition (MD) 攻撃により、ラベルスムージングを用いた防御モデルでは PGD の robustness が 23% 以上低下した。
• 評価対象の12 個の最先端防御モデルのうち6つでは、MD 攻撃によって PGD の robustness が少なくとも 9% 低下した。
• ラベルスムージングを用いる防御モデルは、その学習目的のため、勾配の不均衡に特に脆弱である。
• 結果から、勾配の不均衡は信頼できる robustness 評価を損なう顕著でかつ以前に無視されていた要因であることが示された。