[論文レビュー] Multi-party Poisoning through Generalized $p$-Tampering

Saeed Mahloujifar, Mohammad Mahmoody+1 more|arXiv (Cornell University)|Sep 10, 2018

Privacy-Preserving Technologies in Data参考文献 28被引用数 5

ひとこと要約

本稿は、複数参加者のデータ改ざん攻撃を一般化した $p$-改ざんモデルを導入する。攻撃者は $m$ 個のデータ提供者の中から $k$ 個を制御し、$p$-近接制約内でのデータ改ざんを実行する。本稿では、このような攻撃がモデルの誤差を $\Omega(p \cdot k/m)$ だけ増加させられることを証明しており、多項式時間での実装が可能であり、データがノイズフリーの場合に不正ラベルの必要がないことを示している。

ABSTRACT

In a poisoning attack against a learning algorithm, an adversary tampers with a fraction of the training data $T$ with the goal of increasing the classification error of the constructed hypothesis/model over the final test distribution. In the distributed setting, $T$ might be gathered gradually from $m$ data providers $P_1,\dots,P_m$ who generate and submit their shares of $T$ in an online way. In this work, we initiate a formal study of $(k,p)$-poisoning attacks in which an adversary controls $k\in[n]$ of the parties, and even for each corrupted party $P_i$, the adversary submits some poisoned data $T'_i$ on behalf of $P_i$ that is still $(1-p)$-close to the correct data $T_i$ (e.g., $1-p$ fraction of $T'_i$ is still honestly generated). For $k=m$, this model becomes the traditional notion of poisoning, and for $p=1$ it coincides with the standard notion of corruption in multi-party computation. We prove that if there is an initial constant error for the generated hypothesis $h$, there is always a $(k,p)$-poisoning attacker who can decrease the confidence of $h$ (to have a small error), or alternatively increase the error of $h$, by $\Omega(p \cdot k/m)$. Our attacks can be implemented in polynomial time given samples from the correct data, and they use no wrong labels if the original distributions are not noisy. At a technical level, we prove a general lemma about biasing bounded functions $f(x_1,\dots,x_n)\in[0,1]$ through an attack model in which each block $x_i$ might be controlled by an adversary with marginal probability $p$ in an online way. When the probabilities are independent, this coincides with the model of $p$-tampering attacks, thus we call our model generalized $p$-tampering. We prove the power of such attacks by incorporating ideas from the context of coin-flipping attacks into the $p$-tampering model and generalize the results in both of these areas.

研究の動機と目的

• 攻撃者が $k$ 個のデータ提供者を制御し、$p$-近接制約内でのデータ改ざんが可能な新しい複数参加者向けのデータ改ざん攻撃モデルを形式化すること。
• 分散学習環境における、そのような攻撃が得られる仮説の信頼性および誤差に与える影響を分析すること。
• コイン投げの攻撃から一般化された $p$-改ざんモデルを、データ改ざんにおける有界関数へと拡張し、より広範な適用可能性を実現すること。
• 各参加者が改ざんされる割合が限られている（元のデータから $1-p$-近接）場合でも、攻撃者がモデル性能を著しく低下させられることを示すこと。
• 元のデータがクリアな状態でもノイズのないラベルに依存せず、多項式時間で実行可能な攻撃戦略を開発すること。

提案手法

• 攻撃者が各データ提供者 $P_i$ の一部を制御する一般化された $p$-改ざんモデルを提唱し、$p$-確率で改ざんが行われる一方で、$1-p$-割合の誠実なデータが保持されるようにする。
• 有界関数 $f(x_1, \dots, x_n) \in [0,1]$ を用いて攻撃をバイアス化機構として定式化し、改ざんされた入力の関数として仮説誤差をモデル化する。
• コイン投げ攻撃の技術を活用し、$p$-改ざん制約下でモデル誤差を体系的に増加させる悪意ある摂動を構築する。
• オンラインかつ確率的制御下での有界関数のバイアス化に関する一般化された補題を証明し、$p$-改ざんおよび複数参加者計算分野の先行研究を拡張する。
• 各改ざんされた参加者 $P_i$ に対して、$T'_i$ を $T_i$ から $1-p$-近接に保つように、汚染されたデータ $T'_i$ を生成する多項式時間アルゴリズムを設計する。
• 元のデータ分布がノイズを含まない場合でも攻撃が有効であることを保証し、ラベル改ざんの必要性を回避する。

実験結果

リサーチクエスチョン

• RQ1 各改ざん参加者がほとんど誠実なデータを提出する $p$-近接制約下で、複数参加者向けのデータ改ざん攻撃を形式化できるか？
• RQ2 そのような一般化された $p$-改ざんモデル下で、モデル誤差が最大どれほど増加可能か？
• RQ3 攻撃の強度は、改ざんされた参加者数 $k$ および改ざん確率 $p$ に対してどのようにスケーリングされるか？
• RQ4 ノイズのないラベルに依存せず、多項式時間で実行可能な攻撃が可能か？
• RQ5 コイン投げ攻撃の技術を、有界なデータ改ざん下での学習モデルのバイアス化に適応可能か？

主な発見

• 本稿では、$(k,p)$-改ざん攻撃者がモデル誤差を $\Omega(p \cdot k/m)$ だけ増加させられることを証明しており、厳密な近接制約下でも非自明な攻撃効果を示している。
• 正しいデータ分布からのサンプルが入手可能な限り、攻撃は多項式時間で計算可能である。
• 元のデータがノイズフリーの場合、ラベル改ざんは一切不要であり、入力データの操作のみに依存する。
• 攻撃モデルは、従来の改ざん攻撃および複数参加者計算における $p$-改ざんを統合し、二つの研究分野を統一する。
• 部分的かつオンライン制御下での有界関数のバイアス化に関する一般化された補題が証明され、モデル誤差を攻撃の影響度の関数として分析可能になる。
• 各参加者の改ざんが限られている（元のデータから $1-p$-近接）場合でも、攻撃者がモデルの信頼性および性能を著しく低下させられることを示している。