[논문 리뷰] Rethinking Randomized Smoothing for Adversarial Robustness.

Jeet Mohapatra, Ching-Yun Ko외 5명|arXiv (Cornell University)|2020. 03. 02.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 7

한 줄 요약

이 논문은 적대적 로버스트성에 대한 랜덤화 스무딩의 기초가 되는 가정을 도전하며, 이 방법의 예측 규칙이 본질적으로 결론 경계를 수축시켜 로버스트성을 약화시킨다는 것을 보여준다. 또한 노이즈 증강이 이 문제를 해결하지 못하고 오히려 새로운 문제를 야기할 수 있음을 밝히며, 현재의 랜덤화 스무딩 워크플로우의 확장성과 신뢰성에 의문을 제기한다.

ABSTRACT

The fragility of modern machine learning models has drawn a considerable amount of attention from both academia and the public. While immense interests were in either crafting adversarial attacks as a way to measure the robustness of neural networks or devising worst-case analytical robustness verification with guarantees, few methods could enjoy both scalability and robustness guarantees at the same time. As an alternative to these attempts, randomized smoothing adopts a different prediction rule that enables statistical robustness arguments and can scale to large networks. However, in this paper, we point out for the first time the side effects of current randomized smoothing workflows. Specifically, we articulate and prove two major points: 1) the decision boundaries shrink with the adoption of randomized smoothing prediction rule; 2) noise augmentation does not necessarily resolve the shrinking issue and can even create additional issues.

연구 동기 및 목표

• 랜덤화 스무딩의 뜻밖의 부작용, 특히 결론 경계 기하학에 미치는 영향을 조사하기 위해.
• 랜덤화 스무딩에서의 노이즈 증강이 경계 수축을 효과적으로 완화하는지 분석하기 위해.
• 랜덤화 스무딩이 통계적 보장을 제공하면서도 확장 가능한 로버스트성을 보장한다는 가정을 도전하기 위해.
• 현재 랜덤화 스무딩 워크플로우의 기본적인 한계를 폭 드러내어 로버스트성을 약화시킨다.

제안 방법

• 이론적 분석을 통해 랜덤화 스무딩 예측 규칙이 결론 경계 기하학을 어떻게 변화시키는지 수식적으로 규명한다.
• 논문은 랜덤화 스무딩 규칙 하에서 입력 공간의 중심 쪽으로 결론 경계가 수축함을 증명한다.
• 가우시안 노이즈 하에서 확률적 마진 분석을 사용해 수축 효과를 공식적으로 기술한다.
• 노이즈 증강이 경계 수축에 미치는 영향을 분석하고, 핵심 문제를 해결하지 못함을 보여준다.
• 표준 이미지 분류 데이터셋에서 수축 효과를 실증적으로 검증한다.
• 수축 정도를 정량화하기 위해 스무딩 전후의 결론 경계 기하학을 비교 분석한다.

실험 결과

연구 질문

• RQ1 랜덤화 스무딩 예측 규칙은 신경망의 결론 경계 기하학에 어떻게 영향을 미치는가?
• RQ2 랜덤화 스무딩에서의 노이즈 증강은 결론 경계의 수축을 어느 정도 완화하는가?
• RQ3 스무딩 하에서 발생하는 본질적 경계 수축이 이 방법의 로버스트성 보장을 약화시키는가?
• RQ4 확률적 마진 분석을 사용해 수축 효과를 정량화하고 공식적으로 증명할 수 있는가?
• RQ5 경계 수축은 실무에서 랜덤화 스무딩의 확장성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• 랜덤화 스무딩 예측 규칙으로 인해 스무딩된 분류기의 결론 경계가 입력 공간의 중심 쪽으로 수축하여 로버스트성이 감소한다.
• 노이즈 증강은 경계 수축 문제를 해결하지 못하며, 오히려 임의의 국소 최소값을 유도해 상황을 악화시킬 수 있다.
• 가우시안 노이즈 하에서의 확률적 마진 분석을 통해 결론 경계의 수축 현상이 공식적으로 증명된다.
• 표준 시각 기반 벤치마크에서 수축 효과가 실증적으로 검증되었으며, 로버스트성 마진이 크게 감소함을 보여준다.
• 이러한 발견은 랜덤화 스무딩이 확장 가능한 로버스트성을 유지하면서도 통계적 보장을 제공한다는 기본 가정을 도전한다.
• 본 연구는 현재의 랜덤화 스무딩 워크플로우가 결론 경계 구조의 기하학적 왜곡으로 인해 본질적으로 제한되어 있음을 드러낸다.