[論文レビュー] secml: A Python Library for Secure and Explainable Machine Learning.

Marco Melis, Ambra Demontis+3 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning参考文献 14被引用数 35

ひとこと要約

secml は、深層ニューラルネットワークやSVMなどのモデルに対して、白ボックスおよびブラックボックスの敵対的攻撃（例：回避攻撃や汚染攻撃）を実装するオープンソースのPythonライブラリであり、セキュアで説明可能な機械学習を可能にします。性能低下曲線を用いたセキュリティ評価と、特徴量およびプロトタイプ可視化によるモデル意思決定の説明により、モデルの解釈性と耐性評価が向上します。

ABSTRACT

We present secml, an open-source Python library for secure and explainable machine learning. It implements the most popular attacks against machine learning, including not only test-time evasion attacks to generate adversarial examples against deep neural networks, but also training-time poisoning attacks against support vector machines and many other algorithms. These attacks enable evaluating the security of learning algorithms and of the corresponding defenses under both white-box and black-box threat models. To this end, secml provides built-in functions to compute security evaluation curves, showing how quickly classification performance decreases against increasing adversarial perturbations of the input data. secml also includes explainability methods to help understand why adversarial attacks succeed against a given model, by visualizing the most influential features and training prototypes contributing to each decision. It is distributed under the Apache License 2.0, and hosted at this https URL.

研究の動機と目的

• 敵対的攻撃に対する機械学習モデルのセキュリティを評価する統合的でオープンソースのプラットフォームを提供すること。
• 深層ニューラルネットワークやSVMを含む多様なアルゴリズムにおいて、実行時における回避攻撃と学習時における汚染攻撃を両方サポートすること。
• 白ボックスおよびブラックボックスの脅威モデルを用いて、定量的な性能低下曲線を用いてセキュリティ評価を可能にすること。
• 各予測の背後にある最も影響力のある特徴量および訓練プロトタイプを特定することで、モデルの解釈性を向上させること。
• 再現可能な攻撃および評価ワークフローを通じて、耐性のある機械学習防御の開発とベンチマーク化を促進すること。

提案手法

• 深層ニューラルネットワークおよびSVM向けの敵対的攻撃アルゴリズムの実装、回避および汚染のバリエーションを含む。
• 白ボックスおよびブラックボックスの脅威モデルをサポートし、柔軟なセキュリティ評価を可能にする。
• 増加する摂動レベルにおける性能低下を定量的に測定するための、組み込み関数を用いたセキュリティ評価曲線の計算を統合。
• 各予測ごとに最も影響力のある特徴量および訓練プロトタイプを可視化する説明可能技術の統合。
• 研究者および実務家による拡張性とアクセス性を確保するため、Apache License 2.0 を採用。
• 新規の攻撃、防御、解釈可能手法の統合を可能にするモジュラで拡張可能なアーキテクチャの設計。

実験結果

リサーチクエスチョン

• RQ1 さまざまな摂動レベル下で、敵対的攻撃は深層ニューラルネットワークおよびSVMの性能をどの程度劣化させるか？
• RQ2 敵対的例が存在する状況下で、モデルの予測を決定づける主な特徴量および訓練プロトタイプは何か？
• RQ3 回避攻撃と汚染攻撃の異なる攻撃タイプは、多様な機械学習アルゴリズムにおけるモデルの耐性にどのように影響を与えるか？
• RQ4 セキュリティ評価曲線は、モデルの敵対的摂動に対する脆弱性をどの程度正確に定量化できるか？
• RQ5 説明可能技術は、なぜ特定のモデルが敵対的条件下で失敗するのかを理解するのをどの程度向上できるか？

主な発見

• secml は、敵対的摂動の増加に伴う自動生成による性能低下曲線を通じて、モデルのセキュリティを体系的かつ包括的に評価可能である。
• ライブラリは、摂動強度の増加に伴い分類精度が低下する様子を的確に捉えており、モデルの脆弱性を定量的に測定する手段を提供する。
• secml の説明可能機能は、モデル意思決定に寄与する最も影響力のある入力特徴量および訓練プロトタイプを特定し、敵対的失敗の原因究明を支援する。
• 回避攻撃と汚染攻撃の両方の統合により、さまざまな脅威モデルおよび学習アルゴリズムにおける包括的なセキュリティテストが可能になる。
• オープンソースで Apache 2.0 ライセンスが適用されている設計により、敵対的機械学習およびモデルの解釈性分野における今後の研究の再現性と拡張性が促進される。