[論文レビュー] advertorch v0.1: An Adversarial Robustness Toolbox based on PyTorch

Gavin Weiguang Ding, Luyu Wang+1 more|arXiv (Cornell University)|Feb 20, 2019

Adversarial Robustness in Machine Learning参考文献 22被引用数 143

ひとこと要約

advertorch v0.1 は、BPDAラッパーと攻撃ループ研究のための明確な設計を備えた、敵対的攻撃、防御、および堅牢な訓練手法の実装を提供する PyTorch ベースのツールボックスです。

ABSTRACT

advertorch is a toolbox for adversarial robustness research. It contains various implementations for attacks, defenses and robust training methods. advertorch is built on PyTorch (Paszke et al., 2017), and leverages the advantages of the dynamic computational graph to provide concise and efficient reference implementations. The code is licensed under the LGPL license and is open sourced at https://github.com/BorealisAI/advertorch .

研究の動機と目的

• 敵対的ロバストネス研究を効率化するために、攻撃と防御のための簡潔で一貫した API を提供する。
• 高速実行のために PyTorch の動的グラフを活用した簡潔なリファレンス実装を提供する。
• GPU 加速を用いた攻撃をループ内で実行するワークフロー（例: 敵対的訓練）をサポートする。
• モジュール設計による前処理ベースの防御と堅牢な訓練手法を組み込む。
• 再現性のあるベンチマーク結果を可能にするために、バージョニングと報告手順を確立する。

提案手法

• 予測関数、loss_fn、摂動法などのモジュールコアコンポーネントを用いた勾配ベースの攻撃を実装する。
• 勾配ベース以外の追加攻撃を含む（例: SinglePixelAttack、LocalSearchAttack、JacobianSaliencyMapAttack）。
• 非微分可能な防御や勾配を妨害する防御に対して後向きパスを置換する BPDAWrapper を提供する。
• 前処理ベースの防御を PyTorch モジュールとして組み込む（例: JPEGFilter、BitSqueezing、平滑化フィルター）。
• Madry 風の敵対的訓練や証明可能に堅牢な訓練など、堅牢訓練のリファレンスを advertorch_examples の例として提供する。
• セマンティック バージョニング 2.0.0 に従い、再現性のためにベンチマークのハイパーパラメータを文書化する。

実験結果

リサーチクエスチョン

• RQ1 advertorch v0.1 で実装されている攻撃は何か、柔軟性のためにどのように構造化されているか？
• RQ2 BPDAWrapper は微分不能なコンポーネントを持つ防御モデルに対して攻撃をどのように可能にするか？
• RQ3 提供されている前処理ベースの防御は何で、どのように組み合わせることができるか？
• RQ4 示されている堅牢訓練アプローチは何で、それらはリファレンス実装のためにどのように整理されているか？
• RQ5 バージョン間で再現性を確保するために、ベンチマーク結果をどのように報告すべきか？

主な発見

• ツールボックスは、分離されたコア設計（predict、loss_fn、perturb）を備えた幅広い勾配ベースの攻撃と他の攻撃タイプを提供します。
• BPDAWrapper は後向きパスを置換することで、防御されたモデルに対する勾配ベースの攻撃を可能にします。含まれる直通推定器も。
• 前処理ベースの防御は、即座に組み合わせ可能なモジュール型の PyTorch コンポーネントとして実装されています。
• 堅牢訓練リファレンスが含まれており、advertorch_examples に Madry 風敵対的訓練の例実装があります。
• 本プロジェクトは Semantic Versioning に準拠しており、ベンチマークのハイパーパラメータの詳細な報告を強調しています。