[論文レビュー] The Feasibility and Inevitability of Stealth Attacks

Ivan Tyukin, Desmond J. Higham+3 more|arXiv (Cornell University)|Jun 26, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 5

ひとこと要約

この論文は、検証データ上で性能に変化がないままAIモデルの重みを改ざんする「ステルス攻撃」が、現代の深層学習システムにおいて、単に可能であるのではなく、ますます避けがたいものであることを示している。過剰パラメータ化と高次元の潜在空間を活用することで、著者らは、1つのニューロンの変更によって特定のトリガー入力に対してモデル出力を完全に制御可能であり、わずかな仮定のもとでほぼ確実に成功する可能性があることを示している。これは、モデル共有およびデプロイメントパイプラインにおける深刻な脆弱性を露呈している。

ABSTRACT

We develop and study new adversarial perturbations that enable an attacker to gain control over decisions in generic Artificial Intelligence (AI) systems including deep learning neural networks. In contrast to adversarial data modification, the attack mechanism we consider here involves alterations to the AI system itself. Such a stealth attack could be conducted by a mischievous, corrupt or disgruntled member of a software development team. It could also be made by those wishing to exploit a ``democratization of AI'' agenda, where network architectures and trained parameter sets are shared publicly. We develop a range of new implementable attack strategies with accompanying analysis, showing that with high probability a stealth attack can be made transparent, in the sense that system performance is unchanged on a fixed validation set which is unknown to the attacker, while evoking any desired output on a trigger input of interest. The attacker only needs to have estimates of the size of the validation set and the spread of the AI's relevant latent space. In the case of deep learning neural networks, we show that a one neuron attack is possible - a modification to the weights and bias associated with a single neuron - revealing a vulnerability arising from over-parameterization. We illustrate these concepts using state of the art architectures on two standard image data sets. Guided by the theory and computational results, we also propose strategies to guard against stealth attacks.

研究の動機と目的

• 検証データ上で性能が低下しないようなステルス攻撃の実現可能性と避けがたい性質を調査すること。
• 固定で未知の検証セット上で検出されないまま、特定のトリガー入力に対してモデルの振る舞いを操作する実装可能な攻撃戦略を開発すること。
• モデル構造、トリガー設計、攻撃精度の制約が異なる条件下での、こうした攻撃の理論的成功確率を分析すること。
• 特に過剰パラメータ化されたアーキテクチャにおいて、こうした攻撃を可能にする設計段階の脆弱性を同定すること。
• モデルアーキテクチャ、プルーニング、ハッシュ化に基づいた実用的な防御戦略を提案すること。

提案手法

• 著者らは、攻撃者がモデルパラメータ（例：重みとバイアス）を変更することで、トリガー入力に対して所望の出力を引き起こし、固定で未知の検証セット上での性能を維持する一般化されたオープンボックス型ステルス攻撃フレームワークを導入する。
• 3つのアルゴリズム戦略を開発した：(1) 検証セット表現を含む球内でのトリガー設計；(2) 潜在表現を一致させることで、本物のデータに似せたトリガーのカモフラージュ；(3) 潜在空間の低次元部分空間内での制約付き攻撃。
• 理論的分析では、高次元における測度の集中現象に着目し、潜在空間の次元が増加するにつれて、最小限の摂動でも攻撃成功確率が1に近づくことを示した。
• 主な理論的境界（定理1～3）は、モデル次元、攻撃精度（αでパrameter化）および到達可能性条件に基づいて、成功確率を定量化している。
• 1つのニューロン攻撃戦略を含んでおり、これは、単一のニューロンの重みとバイアスを変更するだけで、トリガー入力に対するモデル出力を完全に制御可能であることを証明している。
• CIFAR-10およびImageNetを用いた最先端の画像分類モデル（例：ResNet、DenseNet）を対象に、1ニューロン攻撃の高い実現可能性を実験的に検証した。

Figure 1: General schemes of adversarial (panel A), data poisoning (panel B), and stealth attacks (panel C).

実験結果

リサーチクエスチョン

• RQ1 攻撃者が深層学習モデルのパラメータを変更することで、特定のトリガー入力に対して任意の出力を引き起こし、かつ未知の検証セット上で性能が同一のままにできるか？
• RQ2 こうしたステルス攻撃の理論的成功確率は何か？ そして、モデルの潜在空間の次元にどのように依存するか？
• RQ3 どのようにすれば、本物のデータサンプルの潜在表現と一致させることで、正当なように見えるトリガーを設計できるか？
• RQ4 特に低次元部分空間において、トリガー生成の精度が低い場合でも、ステルス攻撃がどの程度成功するか？
• RQ5 どのようなモデル設計およびデプロイメント慣行が、こうしたステルス的侵害のリスクを効果的に低減できるか？

主な発見

• モデルの潜在空間の次元が増加するにつれて、わずかな摂動でもステルス攻撃の成功確率は1に近づく。これは、高次元モデルではこうした攻撃が避けがたくなることを示している。
• 1つのニューロン攻撃は理論的にも実験的にも実現可能である：単一のニューロンの重みとバイアスを変更するだけで、トリガー入力に対するモデル出力を完全に制御可能であり、検証セット上の性能を維持できる。
• 攻撃者がトリガー設計をほとんど制御できない場合でも、トリガーの潜在表現が検証セット表現を含む球内にある限り、攻撃成功確率は非常に高い。
• 潜在表現が実データポイントに近い「カモフラージュされたトリガー」は、アルゴリズム2を用いて成功裏に構築可能であり、スパイクなバックドア配備を可能にする。
• 理論的境界（定理1および定理2）は、特に高次元空間において、トリガー生成のやや不正確さに対しても成功確率が頑健であることを示している。
• 過剰パラメータ化と潜在空間の高い内因的次元は、ステルス攻撃を可能にする主な要因であり、モデルプルーニングと次元削減が効果的な防御戦略である。

Figure 2: Stealth attack implementation patterns. Red open circles indicate changes. In Scenarios $1$ and $3$ neuron(s) are added. In Scenario $2$ , a one neuron attack, the weights and biases of an existing neuron are replaced with new values. Grey boxes show a part of the network modelled by the m