[論文レビュー] Manipulating Machine Learning: Poisoning Attacks and Countermeasures for Regression Learning

Matthew Jagielski, Alina Oprea+4 more|arXiv (Cornell University)|Apr 1, 2018

Adversarial Robustness in Machine Learning参考文献 38被引用数 113

ひとこと要約

本論文は線形回帰に対するポイズニング攻撃を初めて提案し、最適化ベースの攻撃と高速な統計的攻撃を提案し、収束保証と低い MSE 影響を持つ堅牢な防御法 TRIM を導入する。

ABSTRACT

As machine learning becomes widely used for automated decisions, attackers have strong incentives to manipulate the results and models generated by machine learning algorithms. In this paper, we perform the first systematic study of poisoning attacks and their countermeasures for linear regression models. In poisoning attacks, attackers deliberately influence the training data to manipulate the results of a predictive model. We propose a theoretically-grounded optimization framework specifically designed for linear regression and demonstrate its effectiveness on a range of datasets and models. We also introduce a fast statistical attack that requires limited knowledge of the training process. Finally, we design a new principled defense method that is highly resilient against all poisoning attacks. We provide formal guarantees about its convergence and an upper bound on the effect of poisoning attacks when the defense is deployed. We evaluate extensively our attacks and defenses on three realistic datasets from health care, loan assessment, and real estate domains.

研究の動機と目的

• 白箱およびブラックボックス設定下で線形回帰に対する poisoning 攻撃を導入・形式化する。
• 回帰分析に適した最適化ベースの poisoning フレームワークを開発し、それを特徴量と応答の両方を最適化するよう拡張する。
• 限られた訓練プロセス知識を要する高速な統計的 poisoning 攻撃を提案する。
• 原理的な防御（TRIM）を設計し、収束保証と poisoning の影響に関する証明可能な境界を提供する。
• 複数の回帰モデルと実世界データセットにわたり、攻撃と防御を評価する。

提案手法

• 分類タスクから回帰へと基準のポイズニング攻撃を適用して拡張し、ポイズニング特徴量と応答の同時最適化を導入する。
• poisoning を inner training objective と outer poisoning objective を持つ双レベル最適化問題として定式化する。
• 内側の凸最適化の KKT 条件を介して勾配を計算し、 poisoning 点を更新する。
• fast statistical attack (StatP) を導入し、訓練分布からサンプリングして boundary rounding を用いて loss を最大化する。black-box アクセスのみを必要とする。
• TRIM を提案し、トリム損失を用いて高残差点を反復的に剪定し、堅牢なモデルを学習する。
• TRIM の収束保証と poisoning 下での mean squared error の上限を提供する。

実験結果

リサーチクエスチョン

• RQ1 Poisoning 攻撃は OLS, Ridge, LASSO, Elastic Net などの異なる正則化スキーム下で線形回帰モデルにどのような影響を与えるのか？
• RQ2 攻撃者の知識が限られた場合でも、ブラックボックスシナリオを含めて poisoning は効果的に実行可能か？
• RQ3 回帰における広範な poisoning 攻撃に対して頑健性を提供する防御メカニズムと、それらの理論的保証は何か？
• RQ4 最適化ベースと統計的 poisoning アプローチは有効性と効率の点でどう比較されるか？
• RQ5 医療、貸出、不動産などの実世界の回帰タスクにおける poisoning の実証的影響はどうか？

主な発見

• 最適化ベースの poisoning 攻撃は、複数の回帰モデルとデータセットにおいてテスト時の MSE を有意に増加させ、先行研究を上回る。
• 攻撃は報告されたケースで MSE を大きく増幅させることができ、例として baseline と比較して最大 6.83×、未 poisoned モデルと比較して 155.7× の増加が見られる。
• 提案された TRIM 防御は robust statistics 手法（Huber, RANSAC）や他の敵対防御よりも高い頑健性を示し、攻撃・モデル・データセット全体で中央値の MSE 増加をわずか 6.1% に抑える。
• TRIM は収束保証と poisoning の影響に関する上限境界を提供し、広範な攻撃クラスに対して強い頑健性を示す。
• StatP 攻撃はより高速で情報量が少なくても有効で、データ分布からサンプリングし境界丸めを用いることでブラックボックスアクセスで動作する。
• Xiao らの baseline と比較して、最適化ベースの攻撃は poisoning 効率の点で大幅な改善を示す。