[論文レビュー] Foolbox v0.8.0: A Python toolbox to benchmark the robustness of machine learning models

Jonas Rauber, Wieland Brendel+1 more|arXiv (Cornell University)|Jul 13, 2017

Adversarial Robustness in Machine Learning参考文献 9被引用数 349

ひとこと要約

Foolbox v0.8.0 は、機械学習モデルの脆弱性を測定するために、モデルを欺くために必要な最小の摂動を測定することで、敵対的摂動を生成し、モデルの耐性をベンチマークするための Python ツールボックスです。複数のディープラーニングフレームワークをサポートし、内部のハイパーパramータチューニングを施したさまざまな攻撃手法を実装しており、異なる敵対的基準や距離尺度を用いた比較評価を可能にします。

ABSTRACT

Even todays most advanced machine learning models are easily fooled by almost imperceptible perturbations of their inputs. Foolbox is a new Python package to generate such adversarial perturbations and to quantify and compare the robustness of machine learning models. It is build around the idea that the most comparable robustness measure is the minimum perturbation needed to craft an adversarial example. To this end, Foolbox provides reference implementations of most published adversarial attack methods alongside some new ones, all of which perform internal hyperparameter tuning to find the minimum adversarial perturbation. Additionally, Foolbox interfaces with most popular deep learning frameworks such as PyTorch, Keras, TensorFlow, Theano and MXNet and allows different adversarial criteria such as targeted misclassification and top-k misclassification as well as different distance measures. The code is licensed under the MIT license and is openly available at this https URL . The most up-to-date documentation can be found at this http URL .

研究の動機と目的

• 多様な機械学習モデルを対象とした敵対的例の生成を統一的かつアクセスしやすいツールとして提供すること。
• 敵対的例を生成するために必要な最小摂動を用いた定量的比較を通じて、モデルの耐性を測定すること。
• PyTorch、Keras、TensorFlow、Theano、MXNet を含む複数のディープラーニングフレームワークをサポートすること。
• 目的指向の誤分類やトップ-k誤分類などの柔軟な敵対的基準を提供すること。
• 標準化された距離尺度と攻撃手法のリファレンス実装を通じて、再現可能な耐性評価を促進すること。

提案手法

• Foolbox は、既存の研究で発表された敵対的攻撃手法のリファレンス実装を実装しており、定番の手法から新規の手法まで網羅しています。
• 各攻撃に対して内部でハイパーパramータチューニングを実施し、成功する敵対的例を生成しつつ摂動の大きさを最小限に抑えるようにしています。
• 標準化されたモデルインターフェースを介して複数のディープラーニングフレームワークをサポートしており、広範な互換性を実現しています。
• ユーザーが、特定のターゲットクラスへの誤分類やトップ-kクラスのいずれかへの誤分類といった、異なる敵対的基準を定義できるようにしています。
• L2 や L∞ ノルムなどの距離尺度を用いて摂動の大きさを定量化することで、一貫性のある耐性測定が可能になっています。
• コードベースは MIT ライセンスの下でオープンソースであり、オンラインで包括的なドキュメンテーションが利用可能です。

実験結果

リサーチクエスチョン

• RQ1 標準的な敵対的攻撃手法を用いて、与えられた機械学習モデルを欺くために必要な最小摂動は何か？
• RQ2 異なる敵対的攻撃手法は、誤分類を達成するために必要な最小摂動の観点でどのように比較できるか？
• RQ3 統一されたフレームワークを用いることで、モデル間での耐性を定量的に測定・比較できる範囲はどの程度か？
• RQ4 Foolbox は多様なディープラーニングフレームワークと効果的に統合できるか、かつ一貫性のある評価基準を維持できるか？
• RQ5 攻撃手法に跨る内部のハイパーパramータチューニングは、耐性ベンチマークの文脈で一貫して最小の敵対的摂動を達成できるか？

主な発見

• Foolbox を用いることで、任意のモデルに対して最小の敵対的摂動を特定でき、標準化された耐性指標を提供します。
• ツールボックスは PyTorch、Keras、TensorFlow、Theano、MXNet を含む主要なディープラーニングフレームワークと正常に統合されています。
• 攻撃手法に跨る内部のハイパーパramータチューニングにより、摂動の大きさが一貫して低減され、耐性測定の正確性が向上しています。
• 目的指向誤分類やトップ-k誤分類といった複数の敵対的基準のサポートにより、耐性評価の柔軟性が向上しています。
• MIT ライセンスの下でのオープンソース化により、再現性が保たれ、敵対的耐性研究のコミュニティ主導の拡張が促進されています。
• 包括的なドキュメンテーションと積極的なメンテナンスにより、研究者および実務家にとって両者ともにアクセス可能で使いやすい状態が維持されています。