[論文レビュー] ATHENA: A Framework based on Diverse Weak Defenses for Building Adversarial Defense

Ying Meng, Jianhai Su+1 more|arXiv (Cornell University)|Jan 2, 2020

Adversarial Robustness in Machine Learning参考文献 71被引用数 11

ひとこと要約

Athenaは、入力に適用される変換を用いて、多様な弱い防御をアンサンブルすることで、頑健な adversarial 防御を構築する柔軟で拡張可能なフレームワークである。Athenaは、ゼロ知識からホワイトボックスまでの複数の脅威モデルにおいて、最先端の頑健性を達成しており、CIFAR-100ではPGD adversarial trainingを上回っている。特に多様な変換を用いることで、計算コストと頑健性の間のカスタマイズ可能なトレードオフを実現している。

ABSTRACT

There has been extensive research on developing defense techniques against adversarial attacks; however, they have been mainly designed for specific model families or application domains, therefore, they cannot be easily extended. Based on the design philosophy of ensemble of diverse weak defenses, we propose ATHENA---a flexible and extensible framework for building generic yet effective defenses against adversarial attacks. We have conducted a comprehensive empirical study to evaluate several realizations of ATHENA with four threat models including zero-knowledge, black-box, gray-box, and white-box. We also explain (i) why diversity matters, (ii) the generality of the defense framework, and (iii) the overhead costs incurred by ATHENA.

研究の動機と目的

• 特定のモデルファミリーまたは攻撃タイプに限定されない、一般化可能で拡張可能な adversarial 攻撃に対する防御の欠如に取り組む。
• 単一の強い防御に依存するのではなく、弱い防御の多様性を活用することで、既存の防御の脆さを克服するフレームワークを設計する。
• アンサンブル構成を通じて、頑健性、モデルの正確性、計算オーバーヘッドの間のカスタマイズ可能なトレードオフ空間を提供する。
• 弱い防御の数や種別を調整することで、クラウドやエッジシステムを含む多様な環境への展開を可能にする。
• アンサンブル化された多様な変換が、同質的または単一の変換防御よりも著しく強い頑健性をもたらすことを示す。

提案手法

• 各WDが分離された入力変換（例：回転、平行移動、ノイズ除去）を分類の前に行う、複数の弱い防御（WDs）をアンサンブル化する防御フレームワークを構築する。
• 出力平均化や多数決投票などのアンサンブル戦略を用いて、すべてのWDからの予測を統合し、多様性による頑健性の向上を図る。
• 幾何的、フィルタリング、圧縮など、さまざまなタイプの変換をカバーする広範な変換プールからWDを選択し、入力の摂動を最大限に混乱させる。
• リソースの可用性、脅威モデル、望ましい頑健性レベルに基づき、デプロイ時におけるアンサンブルの動的構成をサポートする。
• 既存のMLモデルと統合可能であり、モデルに依存しないおよびモデル固有の防御戦略の両方をサポートする。
• アンサンブルサイズや変換の複雑さを調整することで、マルチクラウドやエッジなど、ハイブリッドな展開を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様な弱い防御のアンサンブルは、個別または同質的防御と比較して、adversarial 攻撃に対する頑健性を著しく向上させるか？
• RQ2 アンサンブル内の変換の多様性が、ゼロ知識、ブラックボックス、 GRAYBOX、ホワイトボックスの各脅威モデルにおいて、頑健性にどのように影響するか？
• RQ3 再トレーニングなしで、Athenaは画像、音声、動画などの異なるモデルアーキテクチャや応用分野に一般化可能か？
• RQ4 アンサンブル内の弱い防御の数や種別を変化させた場合、頑健性、推論オーバーヘッド、モデルの正確性のトレードオフはどの程度か？
• RQ5 エッジデバイスのようなリソース制約のある環境において、アンサンブルサイズを小さくすることで、Athenaを効果的に適応可能か、重要な頑健性を損なわないか？

主な発見

• 多様な弱い防御のアンサンブルは、CIFAR-100におけるPGD adversarial trainingを上回り、ほとんどの場合、2番目に良いパフォーマンスを示した手法よりも少なくとも20％低い誤差率を達成した。
• 多様なアンサンブルは、すべてのデータセットと攻撃タイプにおいて、シフトや回転に基づく同質的アンサンブルを上回った。特にCIFAR-100におけるCW攻撃のような挑戦的な攻撃に対して顕著に優れた性能を示した。
• WDの数を増やすことで、誤差率は一貫して低下し、4つ以上のWDを含むアンサンブルは、PGD-ADT性能と同等またはそれを上回った。
• フレームワークは、ゼロ知識、ブラックボックス、グレイボックス、ホワイトボックスの4つの脅威モデルすべてにおいて頑健であった。これは、その一般性と耐性の高さを確認した。
• Athenaのオーバーヘッドは調整可能である：WDの数を減らすことでエッジデプロイにスケーリング可能であり、妥当な頑健性を維持できる。
• 変換の多様性が不可欠である：異なる変換は、adversarial 摂動を補完的に混乱させるため、敵対的攻撃を普遍化しにくくする。