[論文レビュー] Random Smoothing Might be Unable to Certify $\ell_\infty$ Robustness for High-Dimensional Images

Avrim Blum, Travis Dick+2 more|arXiv (Cornell University)|Feb 10, 2020

Adversarial Robustness in Machine Learning参考文献 26被引用数 15

ひとこと要約

この論文は、高次元画像において任意のノイズ分布を用いても、$\infty$-ノルムの脅威モデル下で非自明な$\varepsilon$-ロバスト性をランダムスムージングが達成できないことを示している。ノイズ分散は次元$d$に従って$\Omega(d^{1-2/p}\epsilon^2(1-\delta)/\delta^2)$の割合で増大する。$p>2$の場合、特に$p=\infty$のとき、ノイズが信号を上回り、実用上、スムージング分類器は自明で効果がなくなる。

ABSTRACT

We show a hardness result for random smoothing to achieve certified adversarial robustness against attacks in the $\ell_p$ ball of radius $ε$ when $p>2$. Although random smoothing has been well understood for the $\ell_2$ case using the Gaussian distribution, much remains unknown concerning the existence of a noise distribution that works for the case of $p>2$. This has been posed as an open problem by Cohen et al. (2019) and includes many significant paradigms such as the $\ell_\infty$ threat model. In this work, we show that any noise distribution $\mathcal{D}$ over $\mathbb{R}^d$ that provides $\ell_p$ robustness for all base classifiers with $p>2$ must satisfy $\mathbb{E}η_i^2=Ω(d^{1-2/p}ε^2(1-δ)/δ^2)$ for 99% of the features (pixels) of vector $η\sim\mathcal{D}$, where $ε$ is the robust radius and $δ$ is the score gap between the highest-scored class and the runner-up. Therefore, for high-dimensional images with pixel values bounded in $[0,255]$, the required noise will eventually dominate the useful information in the images, leading to trivial smoothed classifiers.

研究の動機と目的

• 高次元画像において、$p>2$の$\ell_p$-ノルム攻撃に対してランダムスムージングが保証されたロバスト性を達成できるかどうかを調査すること。
• 画素値が$[0,255]$に有界である高次元設定におけるランダムスムージングの根本的限界を特定すること。
• $p>2$の$\ell_p$-ロバスト性認証に必要なノイズ分散の下界を導出することにより、$p=2$における相転移を示すこと。
• Cohenら（2019）が提起した、$p>2$における$\ell_p$-ロバスト性を達成可能なノイズ分布の存在に関する未解決問題を解消すること。

提案手法

• $p>2$の$\ell_p$-ロバスト性に対して、スムージング分布$\mathcal{D}$のノイズ成分$\eta_i$の2次のモーメント$\mathbb{E}[\eta_i^2]$の下界を導出すること。
• ノルム$\|v\|_p \leq \epsilon$を満たす$v$について、$\mathcal{D}$と$\mathcal{D}+v$の全変動距離を用いてロバスト性保証を定量化すること。
• マーカフの不等式と全変動距離の性質を用いて、摂動方向に沿ったノイズ射影の期待絶対値をバインドすること。
• 次元$d$の高次元空間において、$\|v_i\|_p = \epsilon$かつ$\|v_i\|_2 = \epsilon \cdot b^{1/2 - 1/p}$を満たす$b > d/2$個のベクトル$v_i$を構成し、方向に依存する感度を活用すること。
• 直交射影と$\ell_1$-$\ell_2$ノルムの同等性を用いて、ノイズの期待$\ell_2$-ノルムと$\mathbb{E}[|v_i^T \eta|/\|v_i\|_2]$の下界を関連付けること。
• $\mathbb{E}[\|\eta\|_2] \geq \frac{\epsilon d^{1-1/p}}{24} \cdot \frac{1-\delta}{\delta}$を確立し、99%の特徴量について$\mathbb{E}[\eta_i^2] = \Omega(d^{1-2/p}\epsilon^2(1-\delta)/\delta^2)$が得られることを示すこと。

実験結果

リサーチクエスチョン

• RQ1 任意のノイズ分布を用いたランダムスムージングは、$p>2$の$\ell_p$-ノルム攻撃に対して保証された$\ell_p$-ロバスト性を達成できるか？
• RQ2 $p>2$の$\ell_p$-ノルム摂動下で$\varepsilon$-ロバスト性を達成するための、画素ごとの最小ノイズ分散は何か？
• RQ3 必要なノイズが次元$d$に従ってスケーリングするため、高次元画像においてスムージング分類器が実用的でなくなるか？
• RQ4 高次元設定において、ランダムスムージングによる非自明な$\ell_\infty$-ロバスト性の達成に根本的な障壁があるか？
• RQ5 $p=2$における相転移は、$\ell_2$-スムージングが$\ell_p$-ノルムの中で唯一実用可能なことを示唆するか？

主な発見

• $p>2$の場合、画素ごとの必要なノイズ分散は$\Omega(d^{1-2/p}\epsilon^2(1-\delta)/\delta^2)$の割合で増大し、次元$d$とともに増大する。
• $p=\infty$の場合、画素ごとのノイズ分散は$\Omega(d^{1-2/\infty}\epsilon^2(1-\delta)/\delta^2) = \Omega(d\epsilon^2(1-\delta)/\delta^2)$にスケーリングし、高次元画像では信号を上回る。
• $\mathbb{E}[\|\eta\|_2]$の下界は$\frac{\epsilon d^{1-1/p}}{24} \cdot \frac{1-\delta}{\delta}$であり、$p>2$のときノイズの大きさが次元$d$とともに増大することを示している。
• この結果は、$\ell_\infty$-ロバスト性において、ランダムスムージングが実用上無効になることを示唆している。ノイズが入力特徴を上回るためである。
• $p=2$における相転移は、$\ell_2$-スムージングが定数のノイズ分散で運用可能である一方、$p>2$の$\ell_p$-スムージングではノイズが増大するため、高次元データには不適切であることを意味する。
• 本論文は、高次元画像設定において、任意のノイズ分布が非自明な$\ell_\infty$-ロバスト性をランダムスムージングで達成できないことを示し、未解決問題を解決した。