[論文レビュー] Learning under $p$-Tampering Attacks

Saeed Mahloujifar, Dimitrios I. Diochnos+1 more|arXiv (Cornell University)|Nov 10, 2017

Adversarial Robustness in Machine Learning参考文献 33被引用数 4

ひとこと要約

本稿では、有界実数値関数の期待値を増加させるように最適化された $p$-トゥーリング攻撃を導入し、標的付き機械学習設定におけるより強力な汚染攻撃を可能にしている。実現可能性が成り立つ場合、PAC学習は $p$-トゥーリング攻撃下でも可能であることが証明されているが、正しくラベル付けされた敵対的例を意図的に選択可能な強力な $p$-予算攻撃下では不可能になる。

ABSTRACT

Recently, Mahloujifar and Mahmoody (TCC'17) studied attacks against learning algorithms using a special case of Valiant's malicious noise, called $p$-tampering, in which the adversary gets to change any training example with independent probability $p$ but is limited to only choose malicious examples with correct labels. They obtained $p$-tampering attacks that increase the error probability in the so called targeted poisoning model in which the adversary's goal is to increase the loss of the trained hypothesis over a particular test example. At the heart of their attack was an efficient algorithm to bias the expected value of any bounded real-output function through $p$-tampering. In this work, we present new biasing attacks for increasing the expected value of bounded real-valued functions. Our improved biasing attacks, directly imply improved $p$-tampering attacks against learners in the targeted poisoning model. As a bonus, our attacks come with considerably simpler analysis. We also study the possibility of PAC learning under $p$-tampering attacks in the non-targeted (aka indiscriminate) setting where the adversary's goal is to increase the risk of the generated hypothesis (for a random test example). We show that PAC learning is possible under $p$-tampering poisoning attacks essentially whenever it is possible in the realizable setting without the attacks. We further show that PAC learning under "correct-label" adversarial noise is not possible in general, if the adversary could choose the (still limited to only $p$ fraction of) tampered examples that she substitutes with adversarially chosen ones. Our formal model for such "bounded-budget" tampering attackers is inspired by the notions of (strong) adaptive corruption in secure multi-party computation.

研究の動機と目的

• 有界実数値関数の期待値を偏らせるより効果的な $p$-トゥーリング攻撃を開発し、標的付き学習設定における汚染攻撃の強度を高めること。
• $p$-トゥーリング攻撃下でのPAC学習の可能性を、攻撃者がランダムなテスト例のリスクを増加させることを目的とする非標的（無差別）設定で分析すること。
• 正しくラベル付けされた敵対的例を意図的に選択可能な強力な $p$-予算攻撃下でのPAC学習の限界を調査すること、すなわち $p$ 分率に制限されたトゥーリングであっても。
• 安全なマルチパーティ計算を模倣した有界予算トゥーリングの形式的モデルを提供し、弱い敵対的行動と強い敵対的行動の違いを明確にすること。
• 強力な $p$-予算攻撃下での達成可能な正確性と信頼性のタイトな境界を確立し、敵対的ノイズ下での学習に及ぼす影響を示すこと。

提案手法

• 任意の有界実数値関数の期待値を $p$-トゥーリング下で著しく増加させる、効率的な新しい $p$-トゥーリング偏らせ攻撃を提案する。
• 従来の研究と比較して、偏らせ性能をさらに向上させるとともに、解析を簡素化する $p$-リセット偏らせ攻撃の変種を導入する。
• 理想の偏らせ攻撃の多項式時間近似を構築し、学習アルゴリズムへの実用的導入を可能にする。
• Chernoffの不等式を用いて、攻撃者が予算をすべて使い果たす確率を分析し、高い成功確率を保証する。
• 2つの概念 $c_0$ と $c_1$ を用いた分布的議論により、攻撃下での不確かさを示し、攻撃者が生成する分布が区別不能であることを証明する。
• 集中不等式と条件付き確率を用いて、学習された仮説のリスクを境界付け、サンプルサイズにかかわらず誤差が常に $\Omega(1/k) = \Omega(p)$ 以上であることを示す。

実験結果

リサーチクエスチョン

• RQ1 $p$-トゥーリング攻撃を改善し、学習設定下で有界実数値関数の期待値をより効果的に偏らせることができるか？
• RQ2 標的概念が実現可能である場合、非標的（無差別）設定下で $p$-トゥーリング攻撃下でもPAC学習が可能か？
• RQ3 正しくラベル付けされた敵対的例を意図的に選択可能な強力な $p$-予算攻撃下でのPAC学習の限界は何か？
• RQ4 誤ったラベルを使用せずに、誘導された分布の手法を $p$-トゥーリングの文脈で負の結果を示すために適応可能か？
• RQ5 強力な $p$-予算攻撃下での達成可能な正確性または信頼性に関する $\omega(p)$ の下界に対して、一致する上界が存在するか？

主な発見

• 提案された $p$-トゥーリングおよび $p$-リセット偏らせ攻撃は、有界実数値関数の期待値を著しく増加させ、より強力な汚染攻撃を可能にする。
• $p$-トゥーリング下でのPAC学習は、非標的設定において、攻撃なしで実現可能である場合に限り可能であり、このようなノイズ下でもロバストであることが示された。
• 正しくラベル付けされた敵対的例を意図的に選択可能な強力な $p$-予算攻撃下では、PAC学習は不可能である。これは $p$ 分率に制限されたトゥーリングであっても同様である。
• 強力な $p$-予算攻撃下での達成可能な正確性または信頼性の下界は $\omega(p)$ であり、任意に多くのサンプルを用意しても、$p$ より小さい誤差や信頼性を達成することは不可能である。
• 任意の学習アルゴリズムについて、誤差または信頼性のパラメータの少なくとも一方が、サンプルサイズにかかわらず常に $\Omega(1/k) = \Omega(p)$ 以上であることが分析で示された。
• 証明は、攻撃者が生成する2つの区別不能な分布の構築に依存しており、攻撃戦略を完全に把握していても、いかなる学習者も真の概念を信頼性を持って特定することは不可能である。