[論文レビュー] Online Data Poisoning Attack

Xuezhou Zhang, Xiaojin Zhu+1 more|arXiv (Cornell University)|Mar 5, 2019

Network Security and Intrusion Detection参考文献 43被引用数 18

ひとこと要約

本稿では、オンラインデータ汚染攻撃を確率的最適制御問題として定式化し、将来のデータやデータ分布を事前に知らない状況下でも、リアルタイムで近似的に最適な攻撃を生成できる2つの手法——予測制御（MPC）と深層強化学習（DDPG）——を提案する。実験により、両手法とも将来の情報を完全に把握している「予知的攻撃者」と同等の性能を達成しており、教師ありおよび教師なしのオンライン学習タスクにおいて強力な有効性を示している。

ABSTRACT

We study data poisoning attacks in the online setting where training items arrive sequentially, and the attacker may perturb the current item to manipulate online learning. Importantly, the attacker has no knowledge of future training items nor the data generating distribution. We formulate online data poisoning attack as a stochastic optimal control problem, and solve it with model predictive control and deep reinforcement learning. We also upper bound the suboptimality suffered by the attacker for not knowing the data generating distribution. Experiments validate our control approach in generating near-optimal attacks on both supervised and unsupervised learning tasks.

研究の動機と目的

• オンラインデータ汚染攻撃における理解のギャップを解消すること。具体的には、データが到着する度にリアルタイムでデータを操作する攻撃者を想定する。
• データ生成分布や将来のデータポイントを知らない状況下でも、部分的情報のもとでオンラインデータ汚染を確率的最適制御問題としてモデル化すること。
• データ生成分布や将来のデータを知らないにもかかわらず、近似的に最適な性能を達成できる実用的な攻撃アルゴリズムを開発すること。
• 現実的攻撃者と将来のデータを完全に把握している「予知的攻撃者」の間の性能ギャップを理論的に上限付けること。
• 提案手法を、合成データおよび実世界のデータセットを用いたオンライン教師ありおよび教師なし学習タスクにおいて検証すること。

提案手法

• オンラインデータ汚染攻撃を確率的最適制御問題として定式化し、被害者モデルを所望の状態へ誘導するように、攻撃者が摂動を選び、累積コストを最小化する。
• 有限の先読み時間窓（look-ahead horizon）を用いた予測制御（MPC）を採用し、予測された将来のデータに基づいて攻撃を計画することで、即時のコストと長期的コストのバランスを取る。
• 深層強化学習（DDPG）を用いて、観測された状態（現在のデータとモデル）から摂動行動への方策（policy）を学習させ、適応的でリアルタイムな攻撃意思決定を可能にする。
• 大きなデータ変更を罰するため、摂動コスト関数 $ g_{\text{per}}(\mathbf{z}_t, \mathbf{a}_t) = \|\mathbf{a}_t - \mathbf{z}_t\|_p $ を導入する。
• 攻撃の目的（たとえば、特定のモデル $ \theta^\dagger $ を標的にする、良好なモデル $ \hat{\theta} $ を避ける、バックドアトリガーを有効化するなど）を符号化するための悪意あるコスト $ g_{\text{nef}}(\theta) $ を定義する。
• 時間経過に伴う攻撃性能の評価として、割引累積報酬 $ \tilde{J}(t) = \sum_{\tau=0}^{t} \gamma^{\tau} (g_{\text{nef}}(\theta_\tau) + g_{\text{per}}(\mathbf{z}_\tau, \mathbf{a}_\tau)) $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 攻撃者がデータ分布や将来のデータポイントを知らない状況下で、オンラインデータ汚染を確率的制御問題として最適に定式化する方法は何か？
• RQ2 現実的攻撃者が、将来のデータ分布を完全に把握している「予知的攻撃者」と同等の性能をどの程度達成できるか？
• RQ3 予測制御と深層強化学習は、限られた情報のもとでオンライン学習環境において、近似的に最適な攻撃を効果的に生成できるか？
• RQ4 グリーディ（貪欲）、短視眼的、長期計画的戦略の各々は、累積コストと適応性の観点でどのように比較できるか？
• RQ5 計算制約（例：限られた先読み時間窓）が、計画ベースおよび学習ベースの攻撃手法の性能に与える影響は何か？

主な発見

• 将来のデータを完全に把握している予知的攻撃者は、すべての10の実データセットで累積コストを最小化し続け、理論的最適性が確認された。
• NLP（先読み計画）手法は、十分に大きな先読み時間窓（$ h=80 $）が与えられた場合、10のデータセットのうち7つで予知的攻撃者と同等の性能を達成し、計画の有効性を示した。
• DDPGに基づく攻撃者は、多くのデータセットでMPCおよび予知的攻撃者と同等に近い性能を示し、明示的な将来の知識がなくても、学習された方策が良好に一般化できることを示した。
• グリーディ法は著しく低い性能を示し、NULLベースラインとほとんど差がなかった。これは、短視眼的戦略が長期的なオンライン攻撃において無効であることを確認した。
• MPCおよびDDPGの両手法は戦略的行動を示した：特に $ t=50 $ を過ぎてから顕著に低下する長期的攻撃コストを実現するために、初期段階で高い摂動コストを負担していた。これは、長期的な計画的戦略の有効性を示している。
• 計算制約により先読み時間窓が制限される（例：$ h=20 $）場合、DDPGは短視眼的なNLPを上回る性能を示した。これは、リソース制約下でも、学習された方策が反復的計画よりも適応性に優れていることを示している。