[論文レビュー] Data Poisoning Attacks against Online Learning

Yizhen Wang, Kamalika Chaudhuri|arXiv (Cornell University)|Aug 27, 2018

Adversarial Robustness in Machine Learning参考文献 2被引用数 55

ひとこと要約

本論文はオンライン学習におけるデータポイズニング攻撃を形式化し、ストリーミングデータを汚染するための最適化ベースの戦略を提案し、半オンラインおよび完全オンライン設定の下でその有効性を評価する。

ABSTRACT

We consider data poisoning attacks, a class of adversarial attacks on machine learning where an adversary has the power to alter a small fraction of the training data in order to make the trained classifier satisfy certain objectives. While there has been much prior work on data poisoning, most of it is in the offline setting, and attacks for online learning, where training data arrives in a streaming manner, are not well understood. In this work, we initiate a systematic investigation of data poisoning attacks for online learning. We formalize the problem into two settings, and we propose a general attack strategy, formulated as an optimization problem, that applies to both with some modifications. We propose three solution strategies, and perform extensive experimental evaluation. Finally, we discuss the implications of our findings for building successful defenses.

研究の動機と目的

• データがストリーミングとして到着するオンライン学習設定におけるデータポイズニングの研究を動機づける。
• 半オンラインおよび完全オンラインの攻撃設定を形式化し、攻撃者の目的を定義する。
• オンライン勾配降下の更新に適応する最適化ベースの攻撃戦略を開発する。
• データ順序と学習率が攻撃の効果に与える影響を分析する。
• 防御の影響と堅牢なオンライン学習アプローチの可能性を検討する。

提案手法

• ストリーミングデータと凸損失関数および正則化項を用いたオンライン個別勾配降下としてオンライン学習をモデル化する。
• 流れの中で最大K点を変更する攻撃者の最適化を、有効集合Fの下で定式化する。
• 三つの攻撃パラダイムを導入する：インクリメンタル攻撃、インターバル攻撃、 Teach-and-Reinforce攻撃。
• 必要に応じてラベル反転を適用し、勾配ベースの最適化を可能にするよう目的関数を滑らかにする。
• オンライン更新を扱うために、連鎖律を用いた再帰的プレフィックス形式で勾配を計算する。
• 複数の学習率設定の下で、4つのデータセットに対して半オンラインおよび完全オンラインの設定で攻撃を評価する。

実験結果

リサーチクエスチョン

• RQ1 データストリームのごく一部を変更するだけで、オンライン学習において敵対者はデータを効果的にポイズンできるか。
• RQ2 オンライン設定（半オンライン対完全オンライン）と学習率がデータポイズニング攻撃の強さにどう影響するか。
• RQ3 異なる設定下でデータストリームのどの位置で攻撃変更が最も影響力を持つか。
• RQ4 勾配ベースのオンライン攻撃は、無知な攻撃やラベル反転ベースの基準と比べてオンライン学習で優れているか。
• RQ5 ストリーミング分類器におけるオンラインデータポイズニングの脅威を緩和する防御策は何か。

主な発見

• オンラインの敵対者は、無警告ベースやラベル反転ベースの基準と比較して、ポイズンされたオンライン学習で著しく優れている。
• 攻撃の有効性は学習率に依存し、急速に減衰する学習率ほどポイズニングに対して脆弱である。
• 半オンライン設定は完全オンライン設定よりこれらの攻撃に対して脆弱である傾向がある。
• インクリメンタル攻撃とインターバル攻撃は半オンラインで一般により効果的であり、Teach-and-Reinforceは完全オンラインの状況で卓越している。
• 攻撃の位置パターンはデータセットと設定によって異なり、場合によってはストリーム末尾を重視し、別の場合は先頭を重視する。
• 合成データセット、MNIST、Spambaseなどのデータセットにおいても勾配ベースのオンライン攻撃は有効であり、オンライン性が重要な脆弱性であることを強調している。