[論文レビュー] Can Adversarially Robust Learning Leverage Computational Hardness?

Saeed Mahloujifar, Mohammad Mahmoody|arXiv (Cornell University)|Oct 2, 2018

Adversarial Robustness in Machine Learning被引用数 13

ひとこと要約

この論文は、積分布から抽出されたインスタンスを持つ分類器において、敵対的ロバストな学習を計算の困難さに基づいて行うことはできないことを示している。計算的集中法則が高次元積空間で成立することを活用することで、初期誤差が定数であっても、多項式時間の回避および汚染攻撃が、$O(\tilde{\rho}(\mathrm{poly}(n))$の摂動で敵対的例を生成できることを証明している。

ABSTRACT

Making learners robust to adversarial perturbation at test time (i.e., evasion attacks) or training time (i.e., poisoning attacks) has emerged as a challenging task. It is known that for some natural settings, sublinear perturbations in the training phase or the testing phase can drastically decrease the quality of the predictions. These negative results, however, are information theoretic and only prove the existence of such successful adversarial perturbations. A natural question for these settings is whether or not we can make classifiers computationally robust to polynomial-time attacks. In this work, we prove strong barriers against achieving such envisioned computational robustness both for evasion and poisoning attacks. In particular, we show that if the test instances come from a product distribution (e.g., uniform over $\{0,1\}^n$ or $[0,1]^n$, or isotropic $n$-variate Gaussian) and that there is an initial constant error, then there exists a polynomial-time attack that finds adversarial examples of Hamming distance $O(\sqrt n)$. For poisoning attacks, we prove that for any learning algorithm with sample complexity $m$ and any efficiently computable "predicate" defining some "bad" property $B$ for the produced hypothesis (e.g., failing on a particular test) that happens with an initial constant probability, there exist polynomial-time online poisoning attacks that tamper with $O (\sqrt m)$ many examples, replace them with other correctly labeled examples, and increases the probability of the bad event $B$ to $\approx 1$. Both of our poisoning and evasion attacks are black-box in how they access their corresponding components of the system (i.e., the hypothesis, the concept, and the learning algorithm) and make no further assumptions about the classifier or the learning algorithm producing the classifier.

研究の動機と目的

• 回避および汚染攻撃の設定において、計算の困難さが敵対的ロバストな学習の基盤として機能できるかどうかを調査すること。
• 多項式時間の敵対者が、積分布の構造的性質を活用して、最小限の摂動で効果的な敵対的例を生成できるかどうかを特定すること。
• 積空間における古典的集中法則の計算的類似定理を確立し、効率的な攻撃構築を可能にすること。
• 初期誤差が定数である場合のロバストネスの限界を分析し、わずかな脆弱性が効率的な攻撃によって拡大され得ることを示すこと。

提案手法

• 積分布における計算的集中法則を活用し、[KKR18]の結果にインspiredされて、効率的なブラックボックス攻撃を構築する。
• コイントスに基づくアルゴリズム的証明を用い、ランダムな点を測度が大きい集合へ効率的に写像する。これは積空間の幾何的性質を活用する。
• 仮説空間における近似オракル（属するかの判定およびサンプリング）を用い、学習アルゴリズムおよび分類器へのブラックボックスアクセスを可能にする。
• 確率論の境界（例：チェルノフ型不等式および尾部境界）を適用し、攻撃の誤差および成功確率を制御する。
• 集中不等式およびオラクルの複雑さを用いて実行時間の上限を導出し、やや強い仮定のもとで攻撃が$O(n^{12} \times \mathrm{polylog}(n))$時間で実行可能であることを示す。
• 任意の集合$\mathcal{S}$について、測度$\mu = \omega(\log n / \sqrt{n})$であれば、多項式時間アルゴリズムが、ほとんどの点を$\mathcal{S}$まで$O(\sqrt{n})$のハミング距離内で写像できることを証明する。

実験結果

リサーチクエスチョン

• RQ1 回避攻撃において、敵対的ロバストネスが計算の困難さの仮定に基づいて構築可能か？
• RQ2 初期誤差が定数であっても、多項式時間の汚染攻撃が分類器の失敗確率を顕著に増加させられるか？
• RQ3 積空間における計算的集中法則を、効率的なブラックボックス攻撃の構築にどの程度活用できるか？
• RQ4 計算的集中法則が非自明な部分線形攻撃を生じさせる最小の初期誤差確率$\mu$はどの程度か？
• RQ5 他の測度確率空間（例：等方的ガウス分布）は計算的に集中するか？これにより同様の攻撃が可能か？

主な発見

• 回避攻撃において、多項式時間の敵対者は、初期誤差が定数であっても、任意のテストインスタンスから$O(\sqrt{n})$のハミング距離以内に敵対的例を生成できる。
• 汚染攻撃において、敵対者は僅か$O(\sqrt{m})$個の訓練例を改ざんするだけで、特定のインスタンスでの誤分類確率を定数から約1にまで引き上げられる。
• 攻撃はブラックボックスである：分類器や学習プロセスに関する仮定は一切不要で、仮説、学習アルゴリズム、および属するかのオラクルへのアクセスのみを必要とする。
• 攻撃アルゴリズムの実行時間は、$O(n^{12} \cdot \ell / (\mu \cdot (1 - \rho))^5)$で上限が与えられる。ここで$\ell$は入力長、$\rho$は望ましい成功確率である。
• やや強い仮定のもとで結果が成り立つ：インスタンス空間は積分布（例：$\{0,1\}^n$、$[0,1]^n$、または等方的ガウス分布）であり、初期誤差は無視できない。
• 本論文は、古典的集中法則の計算的類似を確立し、効率的なアルゴリズムが積空間における大測度集合に近い点を特定できることを示している。