[논문 리뷰] Curse of Dimensionality on Randomized Smoothing for Certifiable Robustness

Aounon Kumar, Alexander Levine외 2명|arXiv (Cornell University)|2020. 02. 08.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 28

한 줄 요약

이 논문은 $\varepsilon$-유계 $\ell_p$-노름 적대자에 대해 $p > 2$일 때 랜덤화 스무딩을 통한 인증 가능 로버스트성은 차원의 비극적 영향을 겪는다. 이는 i.i.d. 스무딩 분포에 대해 인증 가능 로버스트성 반경이 $O(1/d^{1/2 - 1/p})$ 비율로 감소하기 때문이다. 이 논문은 가우시안 스무딩이 상수 인자 이내에서 최적의 스케일링을 달성함을 증명하며, $\ell_1$ 또는 $\ell_\infty$ 구에 대해 균일 분포를 사용한 스무딩은 더 악화된 차원 의존성과 함께 더 나쁜 결과를 낳는다.

ABSTRACT

Randomized smoothing, using just a simple isotropic Gaussian distribution, has been shown to produce good robustness guarantees against $\ell_2$-norm bounded adversaries. In this work, we show that extending the smoothing technique to defend against other attack models can be challenging, especially in the high-dimensional regime. In particular, for a vast class of i.i.d.~smoothing distributions, we prove that the largest $\ell_p$-radius that can be certified decreases as $O(1/d^{\frac{1}{2} - \frac{1}{p}})$ with dimension $d$ for $p > 2$. Notably, for $p \geq 2$, this dependence on $d$ is no better than that of the $\ell_p$-radius that can be certified using isotropic Gaussian smoothing, essentially putting a matching lower bound on the robustness radius. When restricted to {\it generalized} Gaussian smoothing, these two bounds can be shown to be within a constant factor of each other in an asymptotic sense, establishing that Gaussian smoothing provides the best possible results, up to a constant factor, when $p \geq 2$. We present experimental results on CIFAR to validate our theory. For other smoothing distributions, such as, a uniform distribution within an $\ell_1$ or an $\ell_\infty$-norm ball, we show upper bounds of the form $O(1 / d)$ and $O(1 / d^{1 - \frac{1}{p}})$ respectively, which have an even worse dependence on $d$.

연구 동기 및 목표

• 고차원 공간에서 $\ell_p$-노름 유계 적대자에 대해 $p > 2$일 때 랜덤화 스무딩의 근본적 한계를 조사하는 것.
• 기타 i.i.d. 스무딩 분포가 차원 $d$에 대한 인증 가능 로버스트성 반경 스케일링에서 가우시안 스무딩을 능가할 수 있는지 판단하는 것.
• 가우시안, 라플라스, $\ell_1$/$\ell_\infty$ 구 위에서의 균일 분포를 포함한 다양한 스무딩 분포에 대해 최대 인증 가능 $\ell_p$ 반경에 대한 이론적 경계를 설정하는 것.
• CIFAR-10에서 이론적 결과를 실험적으로 검증하고, 입력 차원, 노이즈가 첨가된 입력에 대한 분류기 정확도, 그리고 인증 가능 로버스트성 간의 상호작용을 분석하는 것.

제안 방법

• 연속적이고 대칭적이며 단일 최빈값을 가지는 i.i.d. 스무딩 분포에 대해 인증 가능한 $\ell_p$-반경에 대한 상한을 유도하며, $p > 2$에 대해 $r_p^* \leq \frac{\sigma}{2\sqrt{2}d^{1/2 - 1/p}} \left( \frac{1}{\sqrt{1 - p_1(x)}} + \frac{1}{\sqrt{p_2(x)}} \right)$ 임을 보임.
• 일반화된 가우시안 스무딩에 대해 더 날카운 상한을 설정하며, $p_1(x)$와 $p_2(x)$에 일정한 조건이 만족될 경우 $r_p^* \leq \frac{2\sigma}{d^{1/2 - 1/p}} \left( \sqrt{\log \frac{1}{1 - p_1(x)}} + \sqrt{\log \frac{1}{p_2(x)}} \right)$ 임을 증명함.
• $\ell_\infty$-노름 구 위에서의 균일 스무딩을 분석하며, $r_p^* < \frac{2b}{d^{1 - 1/p}} = \frac{2\sqrt{3}\sigma}{d^{1 - 1/p}}$ 라고 증명함. 여기서 $\sigma^2 = b^2/3$이다.
• $\ell_1$-노름 구 위에서의 균일 스무딩을 분석하며, $r_p^* < \frac{2b}{d}$ 를 유도함. 이는 $p$ 및 $p_1(x), p_2(x)$에 독립적이며, 차원에 따라 더 강하게 감소함을 보여줌.
• CIFAR-10에서 이론적 경계를 검증하고, 입력 해상도와 노이즈 분산이 인증 가능 로버스트성에 미치는 영향을 연구하기 위해 실험적 평가를 수행함.
• 분류기의 노이즈가 첨가된 입력에 대한 정확도($p_1(x)$)와 로버스트성 스케일링 간의 상호작용을 분석하며, 더 높은 해상도가 실질적으로 차원의 비극적 영향을 부분적으로 상쇄시킬 수 있음을 보임.

실험 결과

연구 질문

• RQ1 i.i.d. 스무딩 분포에 대해 $p > 2$일 때 차원 $d$에 따라 인증 가능한 $\ell_p$-반경이 어떻게 스케일링되는가?
• RQ2 라플라스 또는 $\ell_1$/$\ell_\infty$ 구 위에서의 균일 분포를 포함한 비가우시안 i.i.d. 스무딩 분포가 고차원에서 가우시안 스무딩보다 더 나은 로버스트성 스케일링을 달성할 수 있는가?
• RQ3 i.i.d. 스무딩 하에서 $\ell_p$-노름 적대자에 대해 $p > 2$일 때 인증 가능 로버스트성의 이론적 한계는 무엇이며, 가우시안 스무딩과 비교해 볼 때 어떻게 되는가?
• RQ4 더 높은 입력 해상도 또는 더 높은 노이즈 분산이 인증 가능 로버스트성의 차원에 의한 감쇠를 어느 정도 상쇄시킬 수 있는가?
• RQ5 다양한 스무딩 분포와 데이터셋 해상도에서 $r_p^*$에 대한 이론적 경계와 실증 성능 간의 비교는 어떻게 되는가?

주요 결과

• 연속적 지지역을 가지는 i.i.d. 스무딩 분포의 광범위한 클래스에 대해, $p > 2$일 때 인증 가능한 $\ell_p$-반경이 $O(1/d^{1/2 - 1/p})$ 비율로 감소함을 보이며, 이는 근본적인 차원의 비극적 영향을 나타낸다.
• 가우시안 스무딩은 $p \geq 2$일 때 상수 인자 이내에서 최적의 스케일링을 달성함을 보이며, 점 渐진적 영역에서 상한과 하한이 일치함을 통해 입증됨.
• $\ell_\infty$-노름 구 위에서의 균일 스무딩은 인증 반경 상한이 $O(1/d^{1 - 1/p})$임을 보이며, 이는 $p > 2$일 때 가우시안 스무딩보다 더 빠르게 악화됨.
• $\ell_1$-노름 구 위에서의 균일 스무딩은 인증 반경 상한이 $O(1/d)$임을 유도함. 이는 $p$ 및 분류기의 신뢰도($p_1(x), p_2(x)$)에 영향을 받지 않으며, 더 나쁜 차원 의존성과 함께 더 악화됨.
• CIFAR-10에서의 실험 결과는 이론적 감쇠 비율을 확인하며, $p > 2$일 때 로버스트성 인증서가 차원에 따라 감소함을 보여줌.
• 더 높은 해상도의 이미지는 $p_1(x)$를 향상시켜 차원 의존성에 부분적으로 대응할 수 있으나, 이 효과는 실세계 데이터셋인 ImageNet과 같이 $p_1(x)$가 $d$에 비례하여 충분히 증가하지 않는 경우, 차원의 비극적 영향을 극복하기에는 부족함.