[論文レビュー] A Comprehensive Evaluation Framework for Deep Model Robustness

Jun Guo, Bao, Wei+8 more|arXiv (Cornell University)|Jan 24, 2021

Adversarial Robustness in Machine Learning参考文献 64被引用数 5

ひとこと要約

本論文は、データ指向（例：ニューロンカバレッジ、データの見えにくさ）とモデル指向（例：意思決定境界解析、構造的メトリクス）の両方の視点を統合した、包括的で23のメトリクスからなる深層モデルの頑健性評価フレームワークを提案する。このフレームワークは、高い正確性を示しても、きびしいメトリクスでは多くの防御手法が低い性能を示すことを明らかにした。著者らは、多言語対応で拡張可能な、多様な攻撃と実世界のシナリオにおける評価を支援するオープンソースプラットフォームを公開した。

ABSTRACT

Deep neural networks (DNNs) have achieved remarkable performance across a wide range of applications, while they are vulnerable to adversarial examples, which motivates the evaluation and benchmark of model robustness. However, current evaluations usually use simple metrics to study the performance of defenses, which are far from understanding the limitation and weaknesses of these defense methods. Thus, most proposed defenses are quickly shown to be attacked successfully, which results in the ``arm race'' phenomenon between attack and defense. To mitigate this problem, we establish a model robustness evaluation framework containing 23 comprehensive and rigorous metrics, which consider two key perspectives of adversarial learning (i.e., data and model). Through neuron coverage and data imperceptibility, we use data-oriented metrics to measure the integrity of test examples; by delving into model structure and behavior, we exploit model-oriented metrics to further evaluate robustness in the adversarial setting. To fully demonstrate the effectiveness of our framework, we conduct large-scale experiments on multiple datasets including CIFAR-10, SVHN, and ImageNet using different models and defenses with our open-source platform. Overall, our paper provides a comprehensive evaluation framework, where researchers could conduct comprehensive and fast evaluations using the open-source toolkit, and the analytical results could inspire deeper understanding and further improvement to the model robustness.

研究の動機と目的

• 敵対的攻撃と防御の間の『レース』に対処するため、きめ細やかで多次元的な評価フレームワークを提供すること。
• 攻撃成功確率や正確性といった単純なメトリクスに依存する現在の評価の限界を克服すること。
• 多様な摂動下でのモデル構造と挙動の分析を通じて、防御の弱みをより深く理解すること。
• 複数の実世界のシナリオと攻撃タイプにわたる頑健性を評価することで、頑健なモデルの実用的導入を支援すること。
• ユーザー定義のアルゴリズムやモデルを継続的統合できるオープンソースで拡張可能なプラットフォームを提供し、今後の研究を促進すること。

提案手法

• データ指向（例：ニューロンカバレッジ、データの見えにくさ）とモデル指向（例：敵対的頑健性、意思決定境界の安定性）に分類された23の評価メトリクスを設計する。
• ニューロンカバレッジとデータの見えにくさを用いて、テスト入力がモデルの内部表現をどの程度網羅的に活性化しているかを評価する。
• モデル構造（例：レイヤごとの活性化パターン）と挙動（例：ノイズ下での予測の一貫性）を分析することで、頑健性を測定する。
• モジュラー構成（攻撃、防御、評価、予測、データベースモジュール）を備えたPyTorchベースのオープンソースプラットフォームを実装する。
• Docker標準の入出力インターフェースを活用して、言語に依存しないモデルをサポートし、カスタム攻撃、防御、メトリクスの統合を可能にする。
• 静的および動的分析、コンペティションのホスティング、シナリオ固有の評価（例：自動運転、自動精算）を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的な正確性や攻撃成功確率を超えた包括的メトリクスにおいて、現在の防御手法はどのように評価されるか？
• RQ2 ニューロンカバレッジやデータの見えにくさといったデータ指向メトリクスは、モデルの真の頑健性をどの程度反映しているか？
• RQ3 意思決定境界の安定性や構造的感受性といったモデル指向メトリクスは、既存の防御における弱みをどの程度明らかにするか？
• RQ4 ℓ₂、ℓ∞、汚染攻撃などの多様な攻撃タイプが、防御の頑健性評価に及ぼす影響は何か？
• RQ5 統一的で拡張可能な評価プラットフォームは、敵対的頑健性研究における再現性とベンチマークの改善に寄与できるか？

主な発見

• ℓ∞攻撃に対して高い敵対的正確性を示す多くの防御手法は、ニューロンカバレッジや意思決定境界の安定性といったよりきびしいメトリクスでは劣っていることが判明した。
• 防御手法は攻撃タイプによって性能が一貫せず、ℓ∞に基づく評価だけでは包括的な頑健性の評価が不十分であることが示された。
• 提案されたフレームワークは、ℓ∞摂動に対しては頑健であるが、汚染攻撃やℓ₂敵対的例に対しては脆弱である防御が存在することを明らかにした。
• CAV、CRR、EBDといったモデル指向メトリクスは、標準的な正確性だけでは得られない、モデルの挙動と構造的脆弱性に関するより深い洞察を提供する。
• オープンソースプラットフォームは、15の敵対的攻撃、19の汚染攻撃、10の防御、23の評価メトリクスをサポートしており、スケーラブルで拡張可能な頑健性ベンチマークを可能にした。
• フレームワークはホワイトボックスおよびブラックボックス攻撃評価をサポートしており、多視点評価が信頼できる頑健性評価に不可欠であることを示した。