[論文レビュー] Adversarial Robustness Toolbox v1.0.0

Maria-Irina Nicolae, Mathieu Sinn+10 more|arXiv (Cornell University)|Jul 3, 2018

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

Adversarial Robustness Toolbox (ART) v1.0.0 は、深層ニューラルネットワーク、木アンサンブル、従来の機械学習モデルを含む、さまざまな機械学習モデルに対する敵対的攻撃から防御できる包括的な Python ライブラリです。TensorFlow、PyTorch、Scikit-learn などのフレームワークを標準化されたインターフェースでサポートし、敵対的訓練、入力前処理、実行時検出、CLEVER やクリークベースの検証といった指標による堅牢性評価を可能にします。

ABSTRACT

Adversarial Robustness Toolbox (ART) is a Python library supporting developers and researchers in defending Machine Learning models (Deep Neural Networks, Gradient Boosted Decision Trees, Support Vector Machines, Random Forests, Logistic Regression, Gaussian Processes, Decision Trees, Scikit-learn Pipelines, etc.) against adversarial threats and helps making AI systems more secure and trustworthy. Machine Learning models are vulnerable to adversarial examples, which are inputs (images, texts, tabular data, etc.) deliberately modified to produce a desired response by the Machine Learning model. ART provides the tools to build and deploy defences and test them with adversarial attacks. Defending Machine Learning models involves certifying and verifying model robustness and model hardening with approaches such as pre-processing inputs, augmenting training data with adversarial samples, and leveraging runtime detection methods to flag any inputs that might have been modified by an adversary. The attacks implemented in ART allow creating adversarial attacks against Machine Learning models which is required to test defenses with state-of-the-art threat models. Supported Machine Learning Libraries include TensorFlow (v1 and v2), Keras, PyTorch, MXNet, Scikit-learn, XGBoost, LightGBM, CatBoost, and GPy. The source code of ART is released with MIT license at https://github.com/IBM/adversarial-robustness-toolbox. The release includes code examples, notebooks with tutorials and documentation (http://adversarial-robustness-toolbox.readthedocs.io).

研究の動機と目的

• 異なるモデルタイプとディープラーニングフレームワークをカバーする、統一的でオープンソースのフレームワークを提供し、敵対的脅威に対する機械学習モデルの防御を実現すること。
• 標準化された攻撃、防御、指標を通じて、敵対的堅牢性の体系的評価を可能にすること。
• モジュラーで組み合わせ可能な防御と実行時検出メカニズムを提供することで、研究および本番環境でのデプロイを支援すること。
• セマンティックバージョニングと標準化されたインターフェースを用いることで、一貫性があり再現可能な結果を得られるようにし、ベンチマークの実施を容易にすること。
• CLEVER やクリークベースの手法を含む堅牢性検証技術を統合することで、モデルの信頼性を向上させること。

提案手法

• ART は分類器、攻撃、防御、検出器、指標のためのベースクラスを備えたモジュラーなアーキテクチャを提供し、コンponent のプラグアンドプレイ統合を可能にします。
• 勾配ベースおよび最適化ベースの手法を用いて、FGSM、PGD、Carlini & Wagner、境界攻撃などの敵対的攻撃をサポートし、敵対的例を生成します。
• 敵対的訓練、特徴圧縮、ラベルスムージング、空間的および JPEG 前処理、熱力学的符号化によるランダム化スムージングなどを含む防御が実装されています。
• 入力および活性化統計に基づくバイナリ検出器（Fast Generalized Subset Scan を含む）を用いて、実行時における回避攻撃の検出を実装しています。
• 訓練中におけるバックドア攻撃を検出するために、活性化クラスタリングを用いたポイズニング防御が可能になっています。
• 堅牢性指標には、Lipschitzに基づく堅牢性を推定する CLEVER、損失感度、決定木アンサンブル向けのクリークベース検証が含まれます。

実験結果

リサーチクエスチョン

• RQ1 多様な機械学習モデルおよびディープラーニングフレームワークをカバーする、統一的かつ拡張可能なフレームワークを設計するにはどうすればよいか？
• RQ2 回避攻撃およびポイズニング攻撃に対するモデルの堅牢性を向上させるために、最も効果的で組み合わせ可能な防御戦略は何か？
• RQ3 完全なモデル再トレーニングや勾配のアクセスを必要とせずに、堅牢性を定量的に測定・検証するにはどうすればよいか？
• RQ4 実行時検出メカニズムは、推論性能に影響を与えることなく、リアルタイムで敵対的入力を特定できるか、その程度はどの程度か？
• RQ5 微分不能なモデル（たとえば、決定木やアンサンブルモデル）に対して、堅牢性検証をどのように適用できるか？

主な発見

• ART は、TensorFlow、PyTorch、Keras、Scikit-learn、XGBoost、LightGBM など、複数のフレームワークにおいて、敵対的防御の一貫性あるベンチマークを可能にします。
• CLEVER 指標は、モデル出力の入力摂動に対するリプシッツ定数を近似することで、敵対的堅牢性の信頼性の高い推定値を提供します。
• データ拡張を伴う敵対的訓練や入力前処理（例：JPEG 圧縮、空間スムージング）により、PGD や Carlini & Wagner 攻撃に対するモデルの堅牢性が顕著に向上します。
• 活性化に基づくバイナリ検出器を用いた実行時検出は、特に入力レベルの前処理と組み合わせることで、敵対的入力を高い精度で特定できます。
• 決定木アンサンブル向けのクリークベース手法により、アンサンブル予測の構造を分析し、最小の敵対的摂動を同定することで、形式的な堅牢性検証が可能になります。
• ライブラリのモジュラー設計により、敵対的訓練とランダム化スムージング、入力前処理を組み合わせた、合成可能な防御パイプラインを構築でき、全体的な堅牢性が向上します。