[論文レビュー] Increasing Confidence in Adversarial Robustness Evaluations

R. Zimmermann, Wieland Brendel+2 more|arXiv (Cornell University)|Jun 28, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、モデルを変更して adversarial example が保証されるようにすることで、防御評価における弱い adversarial 攻撃を検出するためのアクティブなロバストネステストを導入する。テストの結果、13件の防御のうち11件がより強い攻撃に対して失敗しており、従来の評価に欠陥があることが露呈され、ロバストネスの主張に対する信頼性を高めるために攻撃のユニットテストを導入するよう提言する。

ABSTRACT

Hundreds of defenses have been proposed to make deep neural networks robust against minimal (adversarial) input perturbations. However, only a handful of these defenses held up their claims because correctly evaluating robustness is extremely challenging: Weak attacks often fail to find adversarial examples even if they unknowingly exist, thereby making a vulnerable network look robust. In this paper, we propose a test to identify weak attacks, and thus weak defense evaluations. Our test slightly modifies a neural network to guarantee the existence of an adversarial example for every sample. Consequentially, any correct attack must succeed in breaking this modified network. For eleven out of thirteen previously-published defenses, the original evaluation of the defense fails our test, while stronger attacks that break these defenses pass it. We hope that attack unit tests - such as ours - will be a major component in future robustness evaluations and increase confidence in an empirical field that is currently riddled with skepticism.

研究の動機と目的

• 機械学習における弱攻撃評価による adversarial robustness の過大評価という広範な問題に対処すること。
• 変更されたモデルにおいて adversarial example が存在することを保証することで、欠陥のあるロバストネス評価を同定する手法を開発すること。
• adversarial example が保証されて存在する状況で、攻撃の能力を検証できるアクティブなテストを提案すること。
• 既知の adversarial example を特定できない攻撃を検出することで、実験的ロバストネス評価に対する信頼性を高めること。
• 防御の開発者に対して、特定のアーキテクチャや学習手法に適合した攻撃ユニットテストを自ら開発するよう促すこと。

提案手法

• 入力ごとに adversarial example が保証されるように、ニューラルネットワークを変更する。具体的には、元の入力に近い決定境界を持つ二値分類問題に分類タスクを再定義することで実現する。
• 元のモデルの特徴を用いて二値分類器を構築し、攻撃の脅威モデル（例：ℓ∞-ボール半径 ε）内に有効な adversarial example が存在することを保証する。
• 継続的でないが、クリーンサンプルと ε-ボール内に植え付けられた adversarial example を用いて訓練された二値識別器を用いることで、脅威モデル内での攻撃に対して adversarial example の存在が避けられないものとする。
• テストの難易度は、クリーンサンプル数（Ni）と植え付けられた adversarial example 数（Nb）を調整することで調整可能であり、Ni を増やすと難易度が上がり、Nb を増やすと難易度が下がる。
• 攻撃がテストに合格するのは、変更されたモデル上でほぼ完全な adversarial success rate (ASR) を達成し、かつランダムベースライン（R-ASR）を著しく上回る場合に限る。
• テストは13件の既存防御に適用され、テストに失敗した攻撃は、ロバストネス評価において信頼できないと判断される。

実験結果

リサーチクエスチョン

• RQ1 弱攻撃が既存する adversarial example を検出できないという問題を、体系的な方法で検出できるか？
• RQ2 adversarial example の存在を保証するテストを設計することで、攻撃の強度を検証できるか？
• RQ3 現在のロバストネス評価が、攻撃が十分に強くないがためにどれほど失敗しているか、そしてその程度を定量化できるか？
• RQ4 アクティブなユニットテストは、防御研究における信頼できるロバストネス評価のための必須条件とできるか？
• RQ5 防御の開発者は、特定のアーキテクチャや学習手法に適合したテストをどのように適応できるか？

主な発見

• 提案されたアクティブテストは、後により強い攻撃で破られた13件のpeer-reviewedな防御のうち11件で、弱い評価を効果的に同定した。
• テストに失敗した攻撃は、常に防御のロバストネスを過大評価しており、既知の adversarial example を検出できないほど弱いことが示された。
• テストの難易度は、クリーンサンプル数と植え付けられた adversarial example 数を調整することで調整可能であり、挑戦性と信頼性のバランスを取れる。
• 攻撃がテストに合格するには、変更されたモデル上でほぼ完全な ASR を達成し、かつランダムベースラインを著しく上回る必要がある。これにより、攻撃の十分な強度が保証される。
• テストは、多くの公開評価が、ロバストなモデルと非ロバストなモデルを区別できない攻撃に基づいていることを明らかにした。これは、その結論に対する信頼性を損なうものであった。
• 著者らは、今後のロバストネス評価において、このようなアクティブテストを標準的手順として統合することで、再現性と結果の信頼性を高めることを提言する。