[論文レビュー] Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness
本稿は、$p > 2$ における $\varepsilon$-有界 $\ell_p$-ノルム敵対的攻撃に対して、確証可能ロバスト性を実現するための確率的スムージングが、次元 $d$ の増加に伴い深刻な次元の呪いに見舞われることを示している。特に、独立同分布のスムージング分布に対して、確証可能ロバスト性半径が $O(1/d^{1/2 - 1/p})$ の割合で減少することを示している。また、ガウススムージングが定数要因を除いて最良のスケーリングを達成することを証明し、$\ell_1$ や $\ell_\infty$ ボール上での一様分布など、他の分布は次元依存性がさらに悪化することを示している。
Randomized smoothing, using just a simple isotropic Gaussian distribution, has been shown to produce good robustness guarantees against $\ell_2$-norm bounded adversaries. In this work, we show that extending the smoothing technique to defend against other attack models can be challenging, especially in the high-dimensional regime. In particular, for a vast class of i.i.d.~smoothing distributions, we prove that the largest $\ell_p$-radius that can be certified decreases as $O(1/d^{\frac{1}{2} - \frac{1}{p}})$ with dimension $d$ for $p > 2$. Notably, for $p \geq 2$, this dependence on $d$ is no better than that of the $\ell_p$-radius that can be certified using isotropic Gaussian smoothing, essentially putting a matching lower bound on the robustness radius. When restricted to {\it generalized} Gaussian smoothing, these two bounds can be shown to be within a constant factor of each other in an asymptotic sense, establishing that Gaussian smoothing provides the best possible results, up to a constant factor, when $p \geq 2$. We present experimental results on CIFAR to validate our theory. For other smoothing distributions, such as, a uniform distribution within an $\ell_1$ or an $\ell_\infty$-norm ball, we show upper bounds of the form $O(1 / d)$ and $O(1 / d^{1 - \frac{1}{p}})$ respectively, which have an even worse dependence on $d$.
研究の動機と目的
- 高次元空間における $\ell_p$-ノルム有界敵対的攻撃（$p > 2$）に対する確率的スムージングの根本的限界を調査すること。
- ガウススムージングを上回るスケーリングを示す、代替の i.i.d. スムージング分布が次元 $d$ に対して certified robustness radius に与える影響を特定すること。
- ガウス、ラプラス、$\ell_1$/$\ell_\infty$ ボール上の一様分布を含む、さまざまなスムージング分布における最大の確証可能 $\ell_p$-半径の理論的境界を確立すること。
- CIFAR-10 における理論的発見の実験的検証を行い、入力次元、ノイズ付き入力における分類器の精度、および確証可能ロバスト性の関係を分析すること。
提案手法
- 連続的で、対称的かつ単峰性を持つ i.i.d. スムージング分布に対して、確証可能 $\ell_p$-半径の上界を導出。$p > 2$ に対して $r_p^* \leq \frac{\sigma}{2\sqrt{2}d^{1/2 - 1/p}} \left( \frac{1}{\sqrt{1 - p_1(x)}} + \frac{1}{\sqrt{p_2(x)}} \right)$ を示した。
- 一般化ガウススムージングに対してより鋭い境界を確立。$p_1(x)$ および $p_2(x)$ に一定の条件が満たされれば、$r_p^* \leq \frac{2\sigma}{d^{1/2 - 1/p}} \left( \sqrt{\log \frac{1}{1 - p_1(x)}} + \sqrt{\log \frac{1}{p_2(x)}} \right)$ が成り立つことを示した。
- $\ell_\infty$-ノルムボール上の一様スムージングを分析。$r_p^* < \frac{2b}{d^{1 - 1/p}} = \frac{2\sqrt{3}\sigma}{d^{1 - 1/p}}$ が成り立ち、$\sigma^2 = b^2/3$ であることを証明した。
- $\ell_1$-ノルムボール上の一様スムージングを分析。$r_p^* < \frac{2b}{d}$ を導出し、これは $p$ や $p_1(x), p_2(x)$ に依存せず、次元に伴うより強い減少を示している。
- CIFAR-10 における実験的評価を通じて理論的境界の妥当性を検証し、入力解像度とノイズ分散が確証可能ロバスト性に与える影響を分析した。
- 分類器のノイズ付き入力における精度（$p_1(x)$）とロバストネススケーリングの関係を分析。高解像度化により次元の呪いを部分的に相殺できることが示された。
実験結果
リサーチクエスチョン
- RQ1$p > 2$ の場合に、i.i.d. スムージング分布における確証可能 $\ell_p$-半径が次元 $d$ に対してどのようにスケーリングされるか。
- RQ2ラプラス分布や $\ell_1$/$\ell_\infty$ ボール上の一様分布など、非ガウス的 i.i.d. スムージング分布が、高次元においてガウススムージングを上回るロバストネススケーリングを達成できるか。
- RQ3i.i.d. スムージング下での $\ell_p$-ノルム敵対的攻撃（$p > 2$）に対する確証可能ロバストネスの理論的限界は何か。また、ガウススムージングと比較するとどうなるか。
- RQ4入力解像度の向上やノイズ分散の増大が、次元に起因する確証可能ロバストネスの減少をどれほど相殺できるか。
- RQ5理論的境界 $r_p^*$ と、さまざまなスムージング分布およびデータセット解像度における実効的性能の間には、どのような差があるか。
主な発見
- 連続的サポートを持つ広範な i.i.d. スムージング分布に対して、$p > 2$ の場合に確証可能 $\ell_p$-半径が $O(1/d^{1/2 - 1/p})$ の割合で減少することが示され、根本的な次元の呪いが存在することが判明した。
- ガウススムージングは、$p \geq 2$ の場合に、定数要因を除いて次元 $d$ に対して最良のスケーリングを達成することが、漸近的領域における上界と下界の一致により示された。
- $\ell_\infty$-ノルムボール上の一様スムージングでは、$O(1/d^{1 - 1/p})$ の確証可能半径境界が得られ、$p > 2$ の場合にガウススムージングより劣化が著しいことが証明された。
- $\ell_1$-ノルムボール上の一様スムージングでは、$O(1/d)$ の確証可能半径境界が得られ、これはさらに悪化しており、$p$ や分類器の信頼度 $p_1(x), p_2(x)$ に依存しない。
- CIFAR-10 における実験結果は理論的減少率を確認しており、$p > 2$ の場合に次元が増加するにつれてロバストネス証明が減少することが示された。
- 高解像度画像は $p_1(x)$ を向上させ、次元依存性を部分的に相殺できるが、実世界のデータセット（例：ImageNet）では $p_1(x)$ が $d$ に比例して増大しないため、次元の呪いを克服することはできない。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。