[論文レビュー] A critique of the DeepSec Platform for Security Analysis of Deep Learning Models

Nicholas Carlini|arXiv (Cornell University)|May 17, 2019

Adversarial Robustness in Machine Learning参考文献 11被引用数 7

ひとこと要約

この論文は、敵対的ロバストネス評価のためのDeepSecプラットフォームを厳密に評価し、その実験設計、実装、分析における根本的な欠陥を暴露している。攻撃・防御の誤った実装、不適切な統計的手法、無効な評価プロトコルにより、DeepSecの結果は誤解を招くものであり、深層学習モデルのロバストネスを評価するうえで信頼できないものであることが示された。

ABSTRACT

At IEEE S&P 2019, the paper "DeepSec: A Uniform Platform for Security Analysis of Deep Learning Model" aims to to "systematically evaluate the existing adversarial attack and defense methods." While the paper's goals are laudable, it fails to achieve them and presents results that are fundamentally flawed and misleading. We explain the flaws in the DeepSec work, along with how its analysis fails to meaningfully evaluate the various attacks and defenses. Specifically, DeepSec (1) evaluates each defense obliviously, using attacks crafted against undefended models; (2) evaluates attacks and defenses using incorrect implementations that greatly under-estimate their effectiveness; (3) evaluates the robustness of each defense as an average, not based on the most effective attack against that defense; (4) performs several statistical analyses incorrectly and fails to report variance; and, (5) as a result of these errors draws invalid conclusions and makes sweeping generalizations.

研究の動機と目的

• 敵対的攻撃と防御の評価に関するDeepSecプラットフォームの手法に内在する根本的欠陥を特定・暴露すること。
• DeepSecの実験設計が、深層学習モデルのロバストネスに関する誤ったおよび無効な結論を導くことの証明。
• 実装、統計的分析、脅威モデルの取り扱いにおける重大な誤りが、DeepSecの報告結果の信頼性を損なうことを強調すること。
• 研究コミュニティが敵対的ロバストネスの比較研究においてDeepSecの結果に依存することを警告すること。

提案手法

• DeepSecで評価されたすべての攻撃および防御をクリーンルーム環境で再実装し、正しさを検証した。
• CleverHansに実装された公開済みの標準実装と比較することで、DeepSecの実装との差異を特定した。
• 攻撃成功率の統計的分析を実施し、分散を定量的に評価し、報告された結果の有意性を検証した。
• 誤ったハイパーパramータ、損失関数、モデルアーキテクチャがPGD敵対的訓練のパフォーマンスに与える影響を評価した。
• 脅威モデルごとのロバストネスを平均化することや、誤った歪みバウンドの使用が結果の有効性に与える影響を分析した。
• DeepSecが報告する攻撃成功率と先行研究および正しく実装されたものとの間に存在する一貫性の欠如を同定・文書化した。

実験結果

リサーチクエスチョン

• RQ1 DeepSecに実装された攻撃および防御は、先行研究で報告されたオリジナルの手法や結果をどれほど正確に再現しているか？
• RQ2 DeepSecにおける攻撃および防御の誤った実装が、その報告されたロバストネス指標の有効性にどのように影響しているか？
• RQ3 敵対的ロバストネス評価において、平均ロバストネスではなく、最悪ケースロバストネスを用いることが根本的に誤りである理由は何か？
• RQ4 PGD敵対的訓練における誤ったハイパーパramータ、モデルアーキテクチャ、損失関数が、防御の評価に与える影響は何か？
• RQ5 元のスコープや歪みバウンドを尊重しないまま、複数の脅威モデルにわたって防御を評価することは、どのような意味を持つのか？

主な発見

• DeepSecはMNISTに対してℓ∞=0.3でFGSM攻撃の成功率を30.4%と報告しているが、正しく再実装した結果は66%に達し、攻撃の有効性が著しく低く見積もられていることが判明した。
• JSMA攻撃に関してDeepSecは76%の成功率を報告しているが、公式のCleverHans実装では95%に達しており、深刻な実装上の欠陥が判明した。
• DeepSecはCIFAR-10に対してℓ∞=0.2でPGD攻撃の成功率を82.4%と報告しているが、先行研究では100%の成功率が報告されており、実装の誤りが示された。
• DeepSecのPGD敵対的訓練実装では、誤った損失関数が使用されており、モデル容量が小さく、83エポックではなく20エポックのみで実行されているため、パフォーマンスに関する誤った結論が導かれた。
• プラットフォームはℓ∞、ℓ0、ℓ2の脅威モデルごとのロバストネスを平均化しており、現実の攻撃行動を反映しない意味のない指標を生成している。
• DeepSecの防御評価は無効である。なぜなら、攻撃が各防御の脅威モデルに最適化されておらず、一部の攻撃ではサンプルの一部しか評価していないため、比較が統計的に意味を持たないからである。