[論文レビュー] What Doesn't Kill You Makes You Robust(er): Adversarial Training against Poisons and Backdoors.

Jonas Geiping, Liam Fowl+4 more|arXiv (Cornell University)|Feb 26, 2021

Adversarial Robustness in Machine Learning参考文献 39被引用数 15

ひとこと要約

本論文は、モデル学習中に合成された汚染データを挿入することで、データ汚染攻撃およびバックドア攻撃に対する防御を、敵対的訓練に基づいて新たに提案する。この手法は、適応的攻撃に対しても効果的に耐性を持ち、多様な汚染攻撃モデルに一般化可能であり、先行研究の防御手法と比較して優れた精度のトレードオフを達成する。

ABSTRACT

Data poisoning is a threat model in which a malicious actor tampers with training data to manipulate outcomes at inference time. A variety of defenses against this threat model have been proposed, but each suffers from at least one of the following flaws: they are easily overcome by adaptive attacks, they severely reduce testing performance, or they cannot generalize to diverse data poisoning threat models. Adversarial training, and its variants, is currently considered the only empirically strong defense against (inference-time) adversarial attacks. In this work, we extend the adversarial training framework to instead defend against (training-time) poisoning and backdoor attacks. Our method desensitizes networks to the effects of poisoning by creating poisons during training and injecting them into training batches. We show that this defense withstands adaptive attacks, generalizes to diverse threat models, and incurs a better performance trade-off than previous defenses.

研究の動機と目的

• 既存のデータ汚染およびバックドア攻撃に対する防御には、しばしば適応的攻撃に対して失敗するか、モデル性能を著しく低下させるという限界があるため、それらの問題を解消すること。
• 推論時攻撃に対して効果的であることが実証された敵対的訓練の成功を、学習時攻撃（例：データ汚染やバックドア）に対しても拡張すること。
• モデルの精度を犠牲にすることなく、多様な汚染攻撃モデルに一般化可能な防御を構築すること。
• 神経ネットワークが悪意ある学習データの影響に対して感受性を示さない学習フレームワークを構築すること。

提案手法

• 敵対的訓練中に、動的に生成され、学習バッチに挿入される合成汚染例を導入する。
• これらの合成汚染データは、モデルの耐性を試すように設計され、学習中に現実の汚染攻撃を模倣する。
• 学習プロセスは、標準的な最適化と、合成汚染データを組み込んだ敵対的更新を交互に実行することで、耐性を向上させる。
• 標準的な敵対的訓練と類似したミニマックス最適化フレームワークを活用するが、汚染攻撃モデルに適応させたものである。
• 正確な汚染パターンの事前知識が不要であるため、多様な攻撃タイプに一般化可能である。
• モデルはクリーンデータに対する高い精度を維持するとともに、既知の攻撃および適応的攻撃に対しても耐性を持つように訓練される。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を、学習時におけるデータ汚染およびバックドア攻撃に対する防御に効果的に拡張できるか？
• RQ2 学習中に合成汚染データを挿入することで、適応的汚染攻撃に対するモデルの耐性が向上するか？
• RQ3 提案手法は、既存の汚染防御手法と比較して、性能および一般化能力において優れているか？
• RQ4 多様な汚染攻撃モデルに耐性を持つ一方で、クリーンデータに対する高い精度を維持できるか？

主な発見

• 提案された防御は、既存の防御を回避する適応的汚染攻撃に対しても、効果的に耐性を持つ。
• この手法は、標的攻撃および非標的攻撃を含む、多様な汚染攻撃モデルに一般化可能である。
• 先行手法と比較して、精度と耐性のトレードオフがより優れており、クリーンデータにおける性能低下が最小限に抑えられる。
• 学習中に合成汚染データを挿入することで、モデルが悪意ある学習例の影響に対して感受性を示さなくなる。