[논문 리뷰] Data-Dependent Randomized Smoothing

Motasem Alfarra, Adel Bibi외 2명|arXiv (Cornell University)|2020. 12. 08.

Advanced Neural Network Applications참고 문헌 33인용 수 6

한 줄 요약

이 논문은 결정 경계에서 멀리 떨어진 입력에서는 과소인정되고, 가까운 입력에서는 잘못 분류되는 고정 분산 랜덤화 스무딩의 문제를 해결하기 위해 입력에 따라 변하는 가우시안 노이즈의 분산을 최적화하는 데이터 의존적 랜덤화 스무딩을 제안한다. 메모리 기반의 인증 방법을 도입함으로써 성능을 희생시키지 않고도 확증 가능한 강건성을 달성하였으며, 반경 0.5에서 CIFAR-10과 ImageNet에서 각각 9%와 6%의 확증된 정확도 향상을 달성하였다.

ABSTRACT

Randomized smoothing is a recent technique that achieves state-of-art performance in training certifiably robust deep neural networks. While the smoothing family of distributions is often connected to the choice of the norm used for certification, the parameters of these distributions are always set as global hyper parameters independent from the input data on which a network is certified. In this work, we revisit Gaussian randomized smoothing and show that the variance of the Gaussian distribution can be optimized at each input so as to maximize the certification radius for the construction of the smooth classifier. Since the data dependent classifier does not directly enjoy sound certification with existing approaches, we propose a memory-enhanced data dependent smooth classifier that is certifiable by construction. This new approach is generic, parameter-free, and easy to implement. In fact, we show that our data dependent framework can be seamlessly incorporated into 3 randomized smoothing approaches, leading to consistent improved certified accuracy. When this framework is used in the training routine of these approaches followed by a data dependent certification, we achieve 9% and 6% improvement over the certified accuracy of the strongest baseline for a radius of 0.5 on CIFAR10 and ImageNet.

연구 동기 및 목표

• 고정된 분산을 사용하는 랜덤화 스무딩의 비최적의 강건성 문제를 해결하기 위해, 결정 경계에서 멀리 떨어진 입력에서는 과소인정되고, 가까운 입력에서는 잘못 분류되는 문제를 해결한다.
• 입력에 따라 최적화된 노이즈 분산을 갖는 데이터 의존적 스무딩 프레임워크를 개발하여, 인증 반경을 최대화한다.
• 데이터 의존적 스무딩 분류기가 구조적으로 확증 가능한 강건성을 유지할 수 있도록 메모리 기반의 인증 메커니즘을 제안한다.
• 다양한 랜덤화 스무딩 접근법에 대해 프레임워크의 일반성과 효과성을 입증한다.
• 학습 및 인증 파이프라인에 데이터 의존적 스무딩을 통합하여, CIFAR-10과 ImageNet에서 최신 기준의 확증된 정확도를 달성한다.

제안 방법

• 각 입력 $x$에 대해 인증 반경을 최대화하기 위해 입력 특화 노이즈 분산 $\sigma_x^*$를 최적화하여, 고정된 $\sigma$ 대신 데이터 의존적 $\sigma_x$를 사용한다.
• 추론 중 각 입력에 대한 최적의 $\sigma_x^*$를 저장하고 검색하기 위한 메모리 기반 메커니즘을 사용하여, 효율적이고 확증 가능한 예측을 가능하게 한다.
• 기존의 랜덤화 스무딩 프레임워크(예: 가우시안 노이즈 사용)에 데이터 의존적 스무딩을 통합하여, 기존 학습 프로세스를 수정하지 않는다.
• Mont테카를로 샘플링을 $K$개의 변형을 사용하여 스무딩 분류기 출력을 추정하고, 메모리 기반의 접근 방식을 통해 인증을 수행한다.
• 최적화를 통해 각 입력에 대해 학습된 $\sigma_x^*$를 사용하여 $g(x) = \mathbb{E}_{\epsilon \sim \mathcal{N}(0, \sigma_x^2 I)}[f(x + \epsilon)]$ 형태의 스무딩 분류기를 구성한다.
• 저장된 $\sigma_x^*$ 값과 확률적 경계를 활용하여 인증을 보장함으로써, 계산된 반경 내에서의 강건성을 확인한다.

실험 결과

연구 질문

• RQ1 랜덤화 스무딩에서 입력 특화 노이즈 분산이 고정 분산 스무딩보다 인증 반경을 향상시킬 수 있는가?
• RQ2 기존의 인증 방법이 더 이상 적용되지 않는 상황에서 데이터 의존적 스무딩 분류기가 어떻게 확증 가능한 강건성을 확보할 수 있는가?
• RQ3 데이터 의존적 스무딩이 CIFAR-10과 ImageNet과 같은 표준 벤치마크에서 확증된 정확도에 미치는 영향은 무엇인가?
• RQ4 제안된 프레임워크는 아키텍처 변경 없이 기존의 랜덤화 스무딩 학습 파이프라인에 원활하게 통합될 수 있는가?
• RQ5 입력 단위로 $\sigma_x^*$를 최적화하는 것이 다양한 데이터 분포에서 일관된 강건성 및 정확도 향상을 이끌 수 있는가?

주요 결과

• 제안된 데이터 의존적 스무딩 프레임워크는 반경 $\ell_2$ 0.5에서 강력한 베이스라인 대비 CIFAR-10에서 9%, ImageNet에서 6%의 확증된 정확도 향상을 달성하였다.
• 반경 2.50에서 $\sigma = 0.5$일 경우, CIFAR-10에서 63.0%의 확증된 정확도를 기록하여 고정 $\sigma$ 기반 베이스라인을 크게 앞서갔다.
• 메모리 기반 인증 메커니즘이 데이터 의존적 스무딩 분류기의 신뢰성 있고 효율적인 인증을 가능하게 하였으며, 이론적 보장을 유지하였다.
• 프레임워크는 일반적이며 다양한 랜덤화 스무딩 접근법에 적용 가능하며, 모든 테스트된 방법에서 일관되게 확증된 정확도를 향상시켰다.
• $\sigma_x^*$를 입력 단위로 최적화함으로써 청소년 입력에 대한 과소인정을 감소시키고, 결정 경계 근처에서의 잘못된 분류를 방지함으로써 강건성을 향상시켰다.
• 이 방법은 CIFAR-10과 ImageNet에서 모두 최신 기준의 확증된 정확도를 달성하여, 실질적으로 데이터 의존적 스무딩의 효과성을 입증하였다.