[論文レビュー] On the Limitations of Stochastic Pre-processing Defenses

Yue Gao, Ilia Shumailov+2 more|arXiv (Cornell University)|Jun 19, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

この論文は、推論時におけるランダムな入力変換を適用する stochastic pre-processing defenses（確率的前処理防御）を調査し、それらが根本的に制限されていることを示している。多くの防御が、PGD などの標準的な攻撃に対して十分なランダム性を備えていないことが明らかになり、防御の有効性を損なう、ロバストネスとランダム化に対するモデルの不変性の間のトレードオフが存在することが示された。著者らは、ランダムネスそのものがロバストネスを保証するものではないという理論的・実験的証拠を提示し、将来の防御設計では、ロバストネスと不変性を分離する必要があると提言している。

ABSTRACT

Defending against adversarial examples remains an open problem. A common belief is that randomness at inference increases the cost of finding adversarial inputs. An example of such a defense is to apply a random transformation to inputs prior to feeding them to the model. In this paper, we empirically and theoretically investigate such stochastic pre-processing defenses and demonstrate that they are flawed. First, we show that most stochastic defenses are weaker than previously thought; they lack sufficient randomness to withstand even standard attacks like projected gradient descent. This casts doubt on a long-held assumption that stochastic defenses invalidate attacks designed to evade deterministic defenses and force attackers to integrate the Expectation over Transformation (EOT) concept. Second, we show that stochastic defenses confront a trade-off between adversarial robustness and model invariance; they become less effective as the defended model acquires more invariance to their randomization. Future work will need to decouple these two effects. We also discuss implications and guidance for future research.

研究の動機と目的

• 推論時にランダムな入力変換に依存する確率的前処理防御の根本的限界を調査すること。
• ランダムネスが攻撃コストを inherently 抬上すると広く信じられている考えを疑問視すること。
• このような防御によって引き起こされる、敵対的ロバストネスと不変性の間のトレードオフを特定・分析すること。
• 現在のランダム化戦略の落とし穴を暴露することで、将来の防御設計に向けた指針を提供すること。

提案手法

• 著者らは、EOT（変換の期待値）を用いない標準的な敵対的攻撃（例：PGD）を用いて、複数の確率的防御に対して体系的な実験的評価を実施し、最小限の適応的仮定のもとでのロバストネスを検証した。
• ランダム化空間の拡大（例：BaRT におけるもの）が防御効果に与える影響を、EOT を使用する・しないで比較して分析した。
• ロバストネスと不変性の間のトレードオフを形式化する理論的分析を開発し、ロバストネスが誘導される分散に起因することを示した。この分散を低減することで有用性を回復できる。
• 標準データセット（例：ImageNet、ImageNette）およびモデルを用いて、防御拡張データ上で微調整されたモデルのロバストネス低下を測定することで、実験的妥当性を検証した。
• 代表的な防御（例：BaRT、DiffPure）および最新の防御（例：ランダム化活性プルーニング、中止活性）を評価し、一般化可能性を検証した。
• 観察されたパターンから、攻撃および防御設計のためのガイドラインを導出し、ロバストネスと不変性を分離する必要性を強調した。

実験結果

リサーチクエスチョン

• RQ1 なぜ多くの確率的前処理防御は、EOT を用いないにもかかわらず、PGD などの標準的攻撃に対して失敗するのか？
• RQ2 EOT（変換の期待値）はなぜ確率的防御を破壊するのか？また、実際に必要となる状況はいつか？
• RQ3 モデルがランダム変換に対して不変であることは、確率的防御のロバストネスにどのように影響するか？
• RQ4 確率的前処理防御において、ロバストネスと不変性の間の理論的トレードオフを形式的に確立できるか？
• RQ5 将来の確率的防御設計を導くために、どのような設計原則を採用すべきか？

主な発見

• 多くの確率的前処理防御は、EOT を用いない状況でも、PGD などの標準的攻撃に対して十分なランダムネスを備えておらず、ランダムネスが攻撃コストを inherently 抬上すると仮定する考えを根底から覆している。
• EOT の利点は、防御が十分にランダムである場合にのみ得られる。そうでない場合、標準的攻撃が既に高い性能を発揮するため、ロバストネスの過大評価が生じている。
• 敵対的ロバストネスとモデルの不変性の間に根本的なトレードオフが存在する：モデルが変換に対してより不変になるほど、ロバストネスは低下する。
• 実験的結果から、防御拡張データ上で微調整されたモデルではロバストネスが低下することが確認され、理論的トレードオフが裏付けられた。
• 理論的分析により、このような防御におけるロバストネスは誘導される分散に起因しており、有用性を維持するためにはこの分散を低減する必要がある。したがって、防御は本質的に脆い。
• 本研究の発見は、入力変換に限らず、ランダム化活性プルーニングや中止活性を含む他の確率的防御にも一般化可能であり、防御設計に広範な影響を及ぼすことが示唆された。