[論文レビュー] cleverhans v0.1: an adversarial machine learning library.

Ian Goodfellow, Nicolas Papernot+1 more|arXiv (Cornell University)|Oct 3, 2016

Adversarial Robustness in Machine Learning被引用数 173

ひとこと要約

CleverHans v0.1 は、機械学習モデル向けの adversarial な例の生成と adversarial 訓練を標準化するソフトウェアライブラリです。攻撃と防御の再現可能な実装を提供することで、信頼性のあるベンチマーク評価と堅牢なモデルの開発が可能となり、攻撃実装のばらつきによる従来の評価の不整合を是正します。

ABSTRACT

CleverHans is a software library that provides standardized reference implementations of adversarial example construction techniques and adversarial training. The library may be used to develop more robust machine learning models and to provide standardized benchmarks of models' performance in the adversarial setting. Benchmarks constructed without a standardized implementation of adversarial example construction are not comparable to each other, because a good result may indicate a robust model or it may merely indicate a weak implementation of the adversarial example construction procedure. This technical report is structured as follows. Section 1 provides an overview of adversarial examples in machine learning and of the CleverHans software. Section 2 presents the core functionalities of the library: namely the attacks based on adversarial examples and defenses to improve the robustness of machine learning models to these attacks. Section 3 describes how to report benchmark results using the library. Section 4 describes the versioning system.

研究の動機と目的

• 敵対的例の構築における標準化の欠如が、研究間で比較不可能なベンチマーク結果を生じさせることを是正すること。
• 機械学習における敵対的攻撃と防御の実装に役立つ信頼性があり再利用可能なライブラリを提供すること。
• 攻撃手順の標準化により、モデルの堅牢性を公平かつ一貫して評価できるようにすること。
• 再現可能な敵対的訓練技術を通じて、より堅牢な機械学習モデルの開発を支援すること。
• ライブラリの更新と結果の再現可能性・追跡可能性を保証するバージョニングシステムを確立すること。

提案手法

• Fast Gradient Sign Method や Projected Gradient Descent などの敵対的例生成技術の参照レベルのコードを実装すること。
• ホワイトボックスおよびブラックボックスの両方の敵対的攻撃に適したモジュラーで再利用可能なコンponentsを提供すること。
• 標準的な敵対的例を用いた adversarial 訓練を含む防御メカニズムを統合すること。
• 人気のあるディープラーニングフレームワークと互換性を持たせる設計により、広範な採用を促進すること。
• 攻撃モジュールと防御モジュールのための標準化インターフェースを通じて、一貫した評価プロトコルを強制すること。
• 変更履歴の追跡と、ライブラリの異なるバージョン間での結果の再現可能性を保証するためのバージョニングシステムを採用すること。

実験結果

リサーチクエスチョン

• RQ1 敵対的例の構築をどのように標準化すれば、異なるモデル間での比較可能なベンチマーク評価が可能になるか？
• RQ2 標準化された実装が、堅牢性評価の信頼性をどの程度向上させるか？
• RQ3 共有されたライブラリフレームワークは、敵対的攻撃と防御の両方の開発を効果的に支援できるか？
• RQ4 攻撃実装の選択が、ベンチマーク評価における報告されたモデルの堅牢性にどのように影響するか？
• RQ5 バージョン管理は、敵対的機械学習実験の再現性を維持する上でどのような役割を果たすか？

主な発見

• 標準化された敵対的例の構築により、モデルの堅牢性に関するより信頼性が高く比較可能なベンチマーク評価が可能になる。
• ライブラリは、実装の差によるばらつきを低減するための一貫したベースラインを提供する。
• 標準化された攻撃を用いた adversarial 訓練により、モデルの堅牢性向上がより再現可能かつ測定可能になる。
• バージョニングシステムにより、CleverHans v0.1 を用いて報告された結果が、異なる実験環境間でも追跡可能かつ再現可能になる。
• ライブラリのモジュラー設計により、既存の機械学習パイプラインへの容易な統合が可能となり、研究協力が促進される。
• 攻撃と防御の実装を分離することで、堅牢性向上の体系的評価が可能になる。