[論文レビュー] Evaluating the Adversarial Robustness of Adaptive Test-time Defenses

Francesco Croce, Sven Gowal+4 more|arXiv (Cornell University)|Feb 28, 2022

Adversarial Robustness in Machine Learning被引用数 10

ひとこと要約

この論文は、推論中に最適化を実行して耐性を向上させるという特徴を持つ、テスト時適応型防御（adaptive test-time defenses）を評価する。画像分類タスクにおいて、最近の9つの手法を検証した。その結果、有望に見えるものの、大多数の手法は静的防御（static defenses）を上回らず、一部は耐性を低下させ、すべての手法が推論コストを増加させた。これは、AutoAttackのような標準的な攻撃手法にとどまらず、より洗練された、防御に特化した評価プロトコルの必要性を示している。

ABSTRACT

Adaptive defenses, which optimize at test time, promise to improve adversarial robustness. We categorize such adaptive test-time defenses, explain their potential benefits and drawbacks, and evaluate a representative variety of the latest adaptive defenses for image classification. Unfortunately, none significantly improve upon static defenses when subjected to our careful case study evaluation. Some even weaken the underlying static model while simultaneously increasing inference computation. While these results are disappointing, we still believe that adaptive test-time defenses are a promising avenue of research and, as such, we provide recommendations for their thorough evaluation. We extend the checklist of Carlini et al. (2019) by providing concrete steps specific to adaptive defenses.

研究の動機と目的

• テスト時適応型防御が静的防御に比べて顕著に敵対的耐性を向上させるかどうかを評価すること。
• その動的で最適化に基づく性質に起因する、適応型防御の評価における限界や落とし穴を特定・分析すること。
• Carlini et al. (2019) が提唱した既存の評価フレームワークを、防御固有の具体的な推奨事項とともに拡張すること。
• 標準的な攻撃（例：AutoAttack）が適応型防御の評価に不十分であり、耐性を過大評価する可能性があることを示すこと。
• 耐性の向上と推論コストのトレードオフを意識した評価を推進すること。

提案手法

• テスト時適応型防御を、入力空間における浄化（purification）と、モデルパラメータ／活性化の適応戦略に分類する。
• 多角的攻撃戦略を採用：代替モデルを用いた転送攻撃、ブラックボックス攻撃（Square, RayS）、リスタートを伴うホワイトボックス勾配攻撃（APGD）。
• 防御の最適化プロセスにおける非微分可能要素を扱うために、BPDA（Backward Pass Differentiable Approximation）の近似を適用する。
• 防御に内在するランダム性に対処するため、EoT（Transformationsの期待値）または固定シードを用いる。
• 統計的信頼性を確保するため、敵対的摂動を加えた入力に対して5回の繰り返し評価を実施する。
• 各防御の最適化メカニズムに特化したカスタム攻撃を実装し、非適応型攻撃よりも強力な敵対的攻撃能力を確保する。

実験結果

リサーチクエスチョン

• RQ1 テスト時適応型防御は、その基盤となる静的モデルに比べて顕著に耐性を向上させるか？
• RQ2 AutoAttackのような標準的な評価手法は、適応型防御の脆弱性をどれほど効果的に特定できないか？
• RQ3 適応型防御の計算コストは、実際の耐性向上と比べてどの程度か？
• RQ4 どの特定の攻撃戦略が適応型テスト時防御を破るのに最も効果的か？
• RQ5 適応型防御の耐性を過大評価しないための評価手法は何か？

主な発見

• 評価対象の9つのテスト時適応型防御のうち、いずれの手法も基盤となる静的モデルの耐性を上回ることはなかった。
• 9つの防御のうち4つは、特化した攻撃を受けると相対的な耐性が50％以上低下し、耐性の過大評価が顕著に確認された。
• すべての適応型防御は、静的防御よりも著しく高い推論計算コストを要したが、それに見合う耐性の向上は得られなかった。
• 一部の防御は、基盤となる静的モデルの性能を低下させ、テスト時適応が性能を劣化させる可能性があることを示唆した。
• 標準的な攻撃（例：AutoAttack）は、適応型防御に対して効果がなく、あるいは誤解を招く結果を示し、APGDにリスタートを組み合わせたカスタム攻撃やBPDA近似の導入が不可欠であることが明らかになった。
• 本研究は、代替モデルを用いた転送攻撃やブラックボックス攻撃（例：Square, RayS）が、適応型防御の信頼性ある評価に不可欠であることを確認した。