[논문 리뷰] Training Certifiably Robust Neural Networks with Efficient Local Lipschitz Bounds

Yujia Huang, Huan Zhang외 3명|arXiv (Cornell University)|2021. 11. 02.

Adversarial Robustness in Machine Learning인용 수 12

한 줄 요약

이 논문은 입력의 변동에 대한 ReLU 및 MaxMin 활성화 행동을 기반으로 비활성 행과 열을 동적으로 제거함으로써, 인증 가능하고 강건한 신경망을 위한 훈련 가능한 효율적인 국소 리프시츠 상한을 제안한다. 학습 가능한 활성화 임계값과 희소성 손실을 도입함으로써, 훈련 중 국소 리프시츠 상한이 강화되어, ℓ₂ 강건성에서 CIFAR-10에서 60.7%의 최고 성능 인증 정확도를 달성한다.

ABSTRACT

Certified robustness is a desirable property for deep neural networks in safety-critical applications, and popular training algorithms can certify robustness of a neural network by computing a global bound on its Lipschitz constant. However, such a bound is often loose: it tends to over-regularize the neural network and degrade its natural accuracy. A tighter Lipschitz bound may provide a better tradeoff between natural and certified accuracy, but is generally hard to compute exactly due to non-convexity of the network. In this work, we propose an efficient and trainable \\emph{local} Lipschitz upper bound by considering the interactions between activation functions (e.g. ReLU) and weight matrices. Specifically, when computing the induced norm of a weight matrix, we eliminate the corresponding rows and columns where the activation function is guaranteed to be a constant in the neighborhood of each given data point, which provides a provably tighter bound than the global Lipschitz constant of the neural network. Our method can be used as a plug-in module to tighten the Lipschitz bound in many certifiable training algorithms. Furthermore, we propose to clip activation functions (e.g., ReLU and MaxMin) with a learnable upper threshold and a sparsity loss to assist the network to achieve an even tighter local Lipschitz bound. Experimentally, we show that our method consistently outperforms state-of-the-art methods in both clean and certified accuracy on MNIST, CIFAR-10 and TinyImageNet datasets with various network architectures.

연구 동기 및 목표

• 전역 리프시츠 상한이 인증 가능 강건성 훈련에서 너무 보수적이며 자연 정확도를 떨어뜨리는 데 기인한 한계를 해결하기 위해.
• 개별 입력 이웃에 적응하는 더 날카운 국소 리프시츠 상한을 계산하기 위한 계산적으로 효율적이고 미분 가능한 방법을 개발하기 위해.
• 입력의 변동에 대해 활성화 뉴런이 일정해지도록 유도함으로써, 신경망이 훈련 중에 국소 리프시츠 상한을 최소화하도록 학습할 수 있도록 하기 위해.
• ℓ₂ 노름 강건성 설정에서 자연 정확도와 인증 가능 강건성 간의 트레이드오프를 향상시키기 위해.

제안 방법

• 각 입력 데이터 포인트에 대해, 국소 변동에 대해 일정한 ReLU 또는 MaxMin 활성화 뉴런을 식별하고, 이에 해당하는 이전 가중치 행렬의 행과 다음 가중치 행렬의 열을 제거한다.
• 감소된 가중치 행렬의 스펙트럼 노름으로 국소 리프시츠 상한을 계산하며, 이는 전역 리프시츠 상한보다 증명 가능한 더 날카운 상한을 제공한다.
• 활성화 함수를 클리핑하기 위한 학습 가능한 상한 임계값을 도입하여, 입력이 임계값을 초과할 경우 뉴런이 일정해지도록 하여 행/열 제거를 촉진한다.
• 더 많은 뉴런이 일정 상태에 들어가도록 유도하기 위해 희소성 유도 허프 손실을 적용한다.
• 기존의 인증 훈련 프레임워크(예: IBP 또는 CROWN 기반)에 통합 가능한 플러그인 모듈로 통합되며, 아키텍처 변경 없이 작동한다.
• 추론 시, 전역 상한에 의해 인증된 입력에 대해서만 국소 리프시츠 상한을 계산하여 계산 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 개별 입력 이웃에 적응하는 국소 리프시츠 상한을 미분 가능한 방식으로 효율적으로 계산하고 훈련시킬 수 있는가?
• RQ2 변동 하에서 활성화 행동을 활용할 경우, 국소 상한은 전역 상한보다 얼마나 더 날카운가?
• RQ3 학습 가능한 활성화 임계값과 희소성 정규화를 사용하여, 국소 리프시츠 상한을 적극적으로 최소화하도록 학습하는 네트워크를 훈련시킬 수 있는가?
• RQ4 제안된 방법은 ℓ₂ 노름 강건성 설정에서 자연 정확도와 인증 가능 강건성 간의 트레이드오프를 향상시키는가?

주요 결과

• ε = 36/255일 때 CIFAR-10에서 MaxMin 활성화를 사용하여 60.7%의 인증 정확도를 달성하였으며, SOTA 기준 59.2%를 초월한다.
• ReLU 활성화를 사용할 경우, CIFAR-10에서 54.3%의 인증 정확도를 달성하였으며, SOTA 기준 51.3%를 초월한다.
• Tiny-ImageNet에서 23.4%의 인증 정확도를 달성하여 SOTA 기준 22.4%를 초월한다.
• 가중치 행렬의 활성 행과 열의 수를 평균 45% 이상 감소시켜, 불필요한 구성 요소의 극도의 정제를 나타낸다.
• 국소 리프시츠 상한 계산에서 수렴을 위해 필요한 파wer 반복 단계의 평균 수는 137이지만, 전역 상한에 의해 인증된 13.8%의 입력만을 대상으로 평가가 이루어진다.
• 6C2F 아키텍처에서 CIFAR-10에서 77.4%의 높은 청소정확도를 유지하여 강건성과 정확도 간의 우수한 트레이드오프를 보여준다.