[논문 리뷰] PROVEN: Certifying Robustness of Neural Networks with a Probabilistic Approach

Tsui-Wei Weng, Pin‐Yu Chen외 4명|arXiv (Cornell University)|2018. 12. 18.

Adversarial Robustness in Machine Learning참고 문헌 33인용 수 5

한 줄 요약

PROVEN은 알려진 분포를 가진 입력 노이즈 하에서 신경망의 강건성을 통계적 보증으로 인해 보장하는 확률적 프레임워크를 도입한다. 이는 최악의 경우 강건성 검증을 통계적 보증으로 확장한다. CROWN과 같은 기존의 인증된 하한값을 활용함으로써, 99.99% 신뢰수준에서 최대 75% 높은 강건성 인증을 달성하며, 최악의 경우 분석에 비해 크게 향상된다.

ABSTRACT

With deep neural networks providing state-of-the-art machine learning models for numerous machine learning tasks, quantifying the robustness of these models has become an important area of research. However, most of the research literature merely focuses on the extit{worst-case} setting where the input of the neural network is perturbed with noises that are constrained within an $\ell_p$ ball; and several algorithms have been proposed to compute certified lower bounds of minimum adversarial distortion based on such worst-case analysis. In this paper, we address these limitations and extend the approach to a extit{probabilistic} setting where the additive noises can follow a given distributional characterization. We propose a novel probabilistic framework PROVEN to PRObabilistically VErify Neural networks with statistical guarantees -- i.e., PROVEN certifies the probability that the classifier's top-1 prediction cannot be altered under any constrained $\ell_p$ norm perturbation to a given input. Importantly, we show that it is possible to derive closed-form probabilistic certificates based on current state-of-the-art neural network robustness verification frameworks. Hence, the probabilistic certificates provided by PROVEN come naturally and with almost no overhead when obtaining the worst-case certified lower bounds from existing methods such as Fast-Lin, CROWN and CNN-Cert. Experiments on small and large MNIST and CIFAR neural network models demonstrate our probabilistic approach can achieve up to around $75\%$ improvement in the robustness certification with at least a $99.99\%$ confidence compared with the worst-case robustness certificate delivered by CROWN.

연구 동기 및 목표

• 신경망의 최악의 경우 강건성 인증의 한계를 해결하기 위해 알려진 입력 노이즈 분포를 고려하는 확률적 프레임워크를 도입하는 것.
• ℓp 노름 내의 변형이 발생할 때 모델의 예측이 그대로 유지될 확률에 대한 통계적 보장을 제공함으로써, 단지 최악의 경우 경계에 의존하는 것과는 다름.
• ReLU 및 기타 활성화 함수를 사용하는 완전 연결 및 컨볼루션 신경망에 대해 실용적이고 확장 가능한 강건성 인증을 가능하게 하는 것.
• 기존의 검증 프레임워크(CROWN, Fast-Lin 등)를 활용해 최소한의 추가 계산으로도 확률적 강건성 인증을 유도할 수 있음을 보여주는 것.
• 실제 구조적 노이즈가 존재하는 환경에서 최악의 경우 분석에 비해 확률적 인증이 훨씬 강력한 강건성 보장을 제공할 수 있음을 보여주는 것.

제안 방법

• PROVEN은 강건성 인증 문제를, 입력 변형 하에서 진짜 클래스와 다음으로 가장 가능성 높은 클래스 간의 마진이 양수로 유지될 확률을 계산하는 것으로 설정한다.
• 변형의 누적분포함수(CDF)를 사용하여 마진이 임계값을 초과할 확률을 계산함으로써 통계적 강건성 보장을 가능하게 한다.
• 기존의 최악의 경우 검증 도구(CROWN 등)에서 유도된 인증된 하한값을 활용하여, 마진 함수의 선형 근사 기반의 닫힌 형태 확률 인증을 도출한다.
• 중앙극한정리와 농도 불등식을 적용하여, 노이즈가 알려진 분포를 따를 경우 모델이 랜덤한 노이즈 하에서도 강건할 확률을 추정한다.
• 최신 검증 도구(Fast-Lin, CROWN, CNN-Cert 등)와 원활하게 통합되며, 기존의 인증된 하한값을 재사용하여 최소한의 추가 계산으로 확률적 강건성을 계산한다.
• 통계적 유효성을 확보하기 위해 강건성 확률의 이론적 상한값 γU와 하한값 γL을 계산한다.

실험 결과

연구 질문

• RQ1 입력 변형이 알려진 확률 분포를 따를 경우, 최악의 경우 적대적 변형을 가정하는 것과는 달리 신경망 강건성에 대한 통계적 보장을 제공할 수 있는가?
• RQ2 최악의 경우에서 확률적 강건성 분석으로 전환함으로써 얼마나 많은 강건성 인증 향상이 달성될 수 있는가?
• RQ3 기존의 최악의 경우 검증 방법에서 유도된 인증된 하한값을 활용해 확률적 강건성 인증을 최소한의 계산 부담으로 효율적으로 도출할 수 있는가?
• RQ4 다양한 아키텍처와 활성화 함수를 가진 실제 모델(MNIST, CIFAR-10 등)에 대해 확률적 접근이 강건성 인증에 얼마나 향상되는가?
• RQ5 다양한 신경망 구성과 노이즈 분포에 걸쳐 확률적 강건성 인증의 신뢰수준과 통계적 신뢰성은 어느 정도인가?

주요 결과

• MNIST 및 CIFAR-10 모델에서 평가한 결과, PROVEN은 CROWN과 같은 최악의 경우 방법 대비 최대 75% 높은 강건성 인증 성능을 보이며, 최소 99.99%의 신뢰수준을 확보한다.
• ReLU 활성화 함수를 사용하는 MNIST 모델의 경우, 최악의 경우 평균 강건성 반경 0.0258에서 PROVEN은 0.0373으로 증가하여 평균 44.7% 향상된다.
• ReLU 활성화 함수를 사용하는 더 큰 CIFAR-10 모델에서는 최악의 경우 강건성 반경 0.00222에서 0.00263으로 증가하여 18.06% 향상되었으며, 높은 신뢰도와 낮은 분산을 보였다.
• MNIST ReLU 모델에서 몬테카를로 샘플 수가 증가함에 따라 확률적 인증은 안정적으로 수렴하며, 표준편차는 10개 샘플일 때 0.00165에서 100개 샘플일 때 0.00054로 감소한다.
• 다양한 활성화 함수(ReLU, tanh, arctan)와 네트워크 깊이에 걸쳐 일관되게 강건성 인증 성능을 향상시켜 광범위한 적용 가능성을 입증한다.
• 기존 도구(CROWN, Fast-Lin 등)에서 유도된 인증된 하한값을 재사용하므로 거의 추가 계산 비용 없이 확률적 인증을 도출할 수 있다.