[論文レビュー] Curie: A method for protecting SVM Classifier from Poisoning Attack

Ricky Laishram, Vir V. Phoha|arXiv (Cornell University)|Jun 5, 2016

Anomaly Detection Techniques and Applications参考文献 16被引用数 37

ひとこと要約

Curie は、特徴空間におけるクラスタリングと (特徴 + ラベル) 距離の異常検出を通じて、悪意のある攻撃で汚染されたデータポイントを検出しフィルタリングすることで、SVM分類器をポisons 攻撃から保護する軽量で教師なしの手法である。攻撃の程度が著しくても高い精度と低い偽陽性率を維持し、ハイパーパramータのチューニングにほとんど感受性を示さない。

ABSTRACT

Machine learning is used in a number of security related applications such as biometric user authentication, speaker identification etc. A type of causative integrity attack against machine learning called Poisoning attack works by injecting specially crafted data points in the training data so as to increase the false positive rate of the classifier. In the context of the biometric authentication, this means that more intruders will be classified as valid user, and in case of speaker identification system, user A will be classified user B. In this paper, we examine poisoning attack against SVM and introduce - Curie - a method to protect the SVM classifier from the poisoning attack. The basic idea of our method is to identify the poisoned data points injected by the adversary and filter them out. Our method is light weight and can be easily integrated into existing systems. Experimental results show that it works very well in filtering out the poisoned data.

研究の動機と目的

• セキュリティが重要な応用分野における SVM 分類器が原因的整合性汚染攻撃に対して脆弱であるという問題に対処すること。
• 既存システムに容易に統合可能な、軽量で教師なしの手法を開発すること。
• 特徴空間では区別できないがラベルが反転している汚染されたデータポイントを検出しフィルタリングすること。
• 汚染レベルの変動や多クラス設定下でも、手法の頑健性を評価すること。
• 特にノイズ比 ρ の推定に感受性を示さないよう、実用的導入を促進すること。

提案手法

• 再訓練の前に、特徴空間でデータポイントをクラスタリングし、類似したインスタンスをグループ化する。
• 各ポイントが同じクラスタ内の他のポイントからの平均距離を計算し、ラベルを (特徴 + ラベル) 空間における重み付き特徴として扱う。
• クラスタ内近接性の信頼度が 95% 未満のポイントは、潜在的な汚染ポイントとしてマークされ、学習から除外される。
• 汚染ポイントは特徴空間では類似しているが、ラベルの一貫性を考慮すると異常となるという事実を活用する。
• 再訓練の前処理フィルタとして適用されるため、定期的またはインクリメンタルな学習パイプラインと互換性がある。
• 多クラス設定への拡張は MultiClass-Curie を通じて行われ、複数クラスにわたり効果を維持する。

実験結果

リサーチクエスチョン

• RQ1 攻撃に関する事前知識がなくても、軽量で教師なしの手法が SVM 分類器における汚染されたデータポイントを検出・フィルタリングできるか？
• RQ2 汚染レベルが上昇する中で、Curie は分類器の精度を維持し、偽陽性率を最小限に抑えることができるか？
• RQ3 実世界のデータセットにおいて、ノイズ比 ρ の推定値に依存して Curie の性能が大きく変化するか？
• RQ4 多クラス分類のシナリオに拡張可能であり、かつ頑健性を維持できるか？
• RQ5 Curie は同時にエバージョン攻撃と汚染攻撃の両方に対する防御として機能できるか？

主な発見

• 125 個の汚染ポイント（学習データの 2.78%）が存在する状況でも、Curie を適用した場合、分類器の精度は 0.96 を上回ったのに対し、保護なしのモデルは 0.918 まで低下した。
• Curie を適用した場合、汚染が進行しても偽陽性率が安定したため、整合性攻撃の効果的な緩和が示された。
• Curie は ω や ρ に対して感受性が低く、ρ が不明な実世界の環境でも実用的であることが示された。
• 多クラス実験では、汚染レベルが上昇する中で MultiClass-Curie はベースラインよりも顕著に精度を維持した。
• 特徴空間では通常のデータと視覚的・統計的に類似していたが、Curie は汚染されたデータポイントを効果的にフィルタリングした。
• Curie の教師なし性質により、エバージョン攻撃に対しても耐性があり、攻撃者が同時にエバージョンと汚染攻撃を回避する必要がある。