[論文レビュー] Universal Multi-Party Poisoning Attacks

Saeed Mahloujifar, Mohammad Mahmoody+1 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data被引用数 11

ひとこと要約

本稿は、複数参加者学習における普遍的$(k,p)$ポイズニング攻撃を導入する。攻撃者は$m$人の参加者のうち$k$人を制御し、全変動距離で誠実なデータと$p$-近いデータを提出する。この攻撃が、悪性仮説性質の確率を$\mu$から$\mu^{1-pk/m}$に普遍的に上昇させることを証明し、$\Omega(p \cdot k/m)$の明確な利得を得る。清浄ラベルとオンライン適応を用いる。

ABSTRACT

In this work, we demonstrate universal multi-party poisoning attacks that adapt and apply to any multi-party learning process with arbitrary interaction pattern between the parties. More generally, we introduce and study $(k,p)$-poisoning attacks in which an adversary controls $k\in[m]$ of the parties, and for each corrupted party $P_i$, the adversary submits some poisoned data $\mathcal{T}'_i$ on behalf of $P_i$ that is still ``$(1-p)$-close'' to the correct data $\mathcal{T}_i$ (e.g., $1-p$ fraction of $\mathcal{T}'_i$ is still honestly generated). We prove that for any ``bad'' property $B$ of the final trained hypothesis $h$ (e.g., $h$ failing on a particular test example or having ``large'' risk) that has an arbitrarily small constant probability of happening without the attack, there always is a $(k,p)$-poisoning attack that increases the probability of $B$ from $μ$ to by $μ^{1-p \cdot k/m} = μ+ Ω(p \cdot k/m)$. Our attack only uses clean labels, and it is online. More generally, we prove that for any bounded function $f(x_1,\dots,x_n) \in [0,1]$ defined over an $n$-step random process $\mathbf{X} = (x_1,\dots,x_n)$, an adversary who can override each of the $n$ blocks with even dependent probability $p$ can increase the expected output by at least $Ω(p \cdot \mathrm{Var}[f(\mathbf{x})])$.

研究の動機と目的

• 複数参加者ポイズニング攻撃の一般的モデルを形式化し、分散学習における現実の攻撃的データ汚染を捉えること。
• 攻撃者が$m$人のデータ提供者の中から$k$人を制御でき、全変動距離で誠実なデータと$p$-近いデータを提出できる状況における、ポイズニング攻撃の本質的パワーを分析すること。
• このような攻撃が、学習アルゴリズムや相互作用パターンにかかわらず、最終モデルにおける悪性性質の発生確率を普遍的に上昇させることを証明すること。
• 失敗確率の上昇に対するきつい定量的バインディングを確立し、各参加者による最小限の汚染でも、$\Omega(p \cdot k/m)$の利得が得られることを示すこと。
• 攻撃が効率的でオンラインであり、清浄ラベルのみを用い、学習アルゴリズムの内部構造を完全に把握する必要がないことから、実用的で検出が困難であることを示すこと。

提案手法

• 攻撃者が$k$人の参加者を制御し、全変動距離で元の分布と$p$-近いデータを提出する$(k,p)$-ポイズニングモデルを導入する。
• 複数参加者学習プロセスを、各$x_i$が参加者からのデータブロックに対応する確率変数の系列$\mathbf{x} = (x_1, \dots, x_n)$としてモデル化する。
• 悪性性質$B$（例：テスト例でのモデル失敗、または高いリスク）を捉える関数$f$をこの系列上で定義する。
• 被覆に基づく改ざん戦略を用い、攻撃者は$k$人の参加者をランダムに選択し、それぞれを確率$p$で独立に改ざんし、ラウンドに対して$(p \cdot k/m)$-被覆を形成する。
• 一般化された$p$-改ざん定理（定理3.5）を適用し、$f$の期待値が少なくとも$\Omega(p \cdot \mathrm{Var}[f(\overline{\mathbf{x}})])$上昇することを示す。
• 平均化の議論と集中不等式を用いて、統計的距離制約下でも悪性性質$B$の発生確率の上昇に関する下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 任意の複数参加者学習プロトコルに対して、相互作用パターンや学習アルゴリズムに依存しない普遍的ポイズニング攻撃を構築可能か？
• RQ2 攻撃者が$k$人の参加者を制御し、誠実なデータと全変動距離で$p$-近いデータを提出する場合、悪性モデル性質$B$の発生確率は最大でどれほど上昇可能か？
• RQ3 攻撃のパワーは、汚染された参加者数$k$、近さパラメータ$p$、および総参加者数$m$に対してどのようにスケーリングされるか？
• RQ4 このような攻撃は、清浄ラベルのみを用い、学習アルゴリズムの完全な知識が不要な状況で、効率的かつオンラインで構築可能か？
• RQ5 任意のデータ系列上の有界関数$f$に対して、失敗確率の上昇に関するタイトな定量的バインディングは存在するか？

主な発見

• 任意の複数参加者学習プロトコルに対して、悪性性質$B$の発生確率を$\mu$から$\mu^{1 - pk/m}$に上昇させる$(k,p)$-ポイズニング攻撃が存在し、これは少なくとも$\mu + \Omega(pk/m)$に相当する。
• 攻撃は普遍的であり、オンラインおよび逐次的データ共有を含む任意の相互作用パターンを持つ学習プロセスに適用可能である。
• 攻撃は、攻撃者のデータが元の分布と全変動距離で$p$-近い場合でも、悪性性質の発生確率において$\Omega(pk/m)$の明確な利得を得る。
• この手法は効率的でオンラインであり、学習アルゴリズムの内部構造へのアクセスが不要で、清浄ラベルのみを必要とする。
• 攻撃は統計的距離制約に強く、攻撃者のデータは誠実なデータと全変動距離で$p$以内に保たれるため、検出が困難である。
• 理論的バインディングはタイトであり、被覆に基づく改ざん戦略と分散に基づく解析を用い、ベルヌーイ分布およびチェルノフ型不等式を用いた明示的な集中バインディングが得られる。