[論文レビュー] Indicators of Attack Failure: Debugging and Improving Optimization of Adversarial Examples

Maura Pintor, Luca Demetrio+5 more|arXiv (Cornell University)|Jun 18, 2021

Adversarial Robustness in Machine Learning被引用数 11

ひとこと要約

本論文は、勾配ベースの敵対的攻撃最適化における一般的な障害、例えば勾配の遮断や収束不全を自動で検出・デバッグするための、6つの新しい攻撃失敗指標（IoAF）を導入する。体系的なプロトコルにこれらの指標を適用することで、著者たちは画像、音声、マルウェアの分野における15のモデルにおいて、これまで検出されなかった攻撃実装上の欠陥を特定・是正し、より信頼性の高い敵対的ロバストネス評価を実現した。

ABSTRACT

Evaluating robustness of machine-learning models to adversarial examples is a challenging problem. Many defenses have been shown to provide a false sense of robustness by causing gradient-based attacks to fail, and they have been broken under more rigorous evaluations. Although guidelines and best practices have been suggested to improve current adversarial robustness evaluations, the lack of automatic testing and debugging tools makes it difficult to apply these recommendations in a systematic manner. In this work, we overcome these limitations by: (i) categorizing attack failures based on how they affect the optimization of gradient-based attacks, while also unveiling two novel failures affecting many popular attack implementations and past evaluations; (ii) proposing six novel indicators of failure, to automatically detect the presence of such failures in the attack optimization process; and (iii) suggesting a systematic protocol to apply the corresponding fixes. Our extensive experimental analysis, involving more than 15 models in 3 distinct application domains, shows that our indicators of failure can be used to debug and improve current adversarial robustness evaluations, thereby providing a first concrete step towards automatizing and systematizing them. Our open-source code is available at: https://github.com/pralab/IndicatorsOfAttackFailure.

研究の動機と目的

• 機械学習モデルにおける誤った攻撃評価によって生じる過剰な敵対的ロバストネスの評価という、長年の問題に対処すること。
• 敵対的ロバストネスの誤った評価を引き起こす勾配ベース攻撃最適化における一般的な障害を特定すること。
• 敵対的評価中にこのような障害を検出するための自動的で体系的な指標を開発すること。
• 同定された障害を是正するためのプロトコルを提案し、ロバストネス評価の信頼性を向上させること。
• 攻撃実装における微細な欠陥を検出することで、防御の再現可能で信頼できる評価を可能にすること。

提案手法

• 勾配ベース攻撃における特定の最適化問題を検出できる6つの定量的攻撃失敗指標（IoAF）を定義する。
• IoAFを、勾配、損失の安定性、予測の一貫性、攻撃成功度の分析というメトリクスとして形式化する。
• 評価パイプラインへの統合を可能にするため、IoAFを疑似コードおよびオープンソースツールとして実装する。
• 勾配の遮断、サイレント成功、最適化不全などの障害を検出するために指標を適用する。
• IoAF値を用いて障害を診断・是正する体系的で準自動のプロトコルを設計する。
• 実世界の防御評価を用いて、画像、音声、マルウェアの3分野における15のモデルで、この手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 勾配ベースの敵対的攻撃最適化における、これまで検出されなかった一般的な障害とは何か？ それらはなぜ過剰なロバストネスの評価を引き起こすのか？
• RQ2 攻撃最適化プロセス中に、定量的指標を用いてこれらの障害を体系的に検出できるか？
• RQ3 一般的なライブラリ（例：Foolbox, Cleverhans）における誤った攻撃実装は、誤ったロバストネス評価にどの程度寄与しているのか？
• RQ4 提案されたIoAF指標とプロトコルは、実世界の防御における敵対的ロバストネス評価の信頼性を向上させることができるか？
• RQ5 IoAF指標は、攻撃パイプラインにおける勾配の遮断や収束不全といった問題をどのように特定・是正するのを支援するのか？

主な発見

• 著者たちは、一般的な攻撃ライブラリでこれまで検出されていなかった2つの新しい攻撃失敗—サイレント成功と制約なし攻撃失敗—を同定した。
• IoAF指標は、過剰に評価されていた13の既存防御において、勾配の遮断や最適化不全を効果的に検出できた。
• 提案されたプロトコルとIoAF指標を用いた再評価により、最近発表された7つの防御が、誤った攻撃実行のため著しく過剰にロバストネスが評価されていることが判明した。
• 攻撃最適化中に不安定な予測や損失の不安定性といった障害を検出することで、この手法はロバストネス評価の信頼性を向上させた。
• IoAFのオープンソース実装により、再現可能性が確保され、標準的な評価ワークフローへの統合が可能になり、敵対的テストにおける人的ミスが低減された。
• IoAF値に基づく体系的なプロトコルにより、実務家は攻撃実装上の欠陥を自動で検出し是正でき、防御評価の信頼性が向上した。