[논문 리뷰] Robust Sparse Regularization: Simultaneously Optimizing Neural Network Robustness and Compactness

Adnan Siraj Rakin, Zhezhi He외 4명|arXiv (Cornell University)|2019. 05. 30.

Adversarial Robustness in Machine Learning참고 문헌 40인용 수 17

한 줄 요약

이 논문은 적대적 공격에 대한 강건성과 가중치 프루닝을 통한 모델의 압축성을 동시에 향상시키는 다중 목적 학습 방법인 강건한 희박 정규화(Robust Sparse Regularization, RSR)를 제안한다. 채널별 노이즈 주입, L1(라소) 정규화, 그리고 적대적 훈련을 융합함으로써, RSR는 ResNet-18이 전체 가중치의 85.36%를 프루닝한 상태에서도 청소년 정확도 86.79%와 PGD 강건성 정확도 53.03%를 유지한다.

ABSTRACT

Deep Neural Network (DNN) trained by the gradient descent method is known to be vulnerable to maliciously perturbed adversarial input, aka. adversarial attack. As one of the countermeasures against adversarial attack, increasing the model capacity for DNN robustness enhancement was discussed and reported as an effective approach by many recent works. In this work, we show that shrinking the model size through proper weight pruning can even be helpful to improve the DNN robustness under adversarial attack. For obtaining a simultaneously robust and compact DNN model, we propose a multi-objective training method called Robust Sparse Regularization (RSR), through the fusion of various regularization techniques, including channel-wise noise injection, lasso weight penalty, and adversarial training. We conduct extensive experiments across popular ResNet-20, ResNet-18 and VGG-16 DNN architectures to demonstrate the effectiveness of RSR against popular white-box (i.e., PGD and FGSM) and black-box attacks. Thanks to RSR, 85% weight connections of ResNet-18 can be pruned while still achieving 0.68% and 8.72% improvement in clean- and perturbed-data accuracy respectively on CIFAR-10 dataset, in comparison to its PGD adversarial training baseline.

연구 동기 및 목표

• 깊은 신경망의 적대적 공격에 대한 강건성을 향상시키고, 프루닝을 통해 모델 크기를 줄이는 이중 과제를 해결하기 위해.
• 프루닝과 방어를 결합할 경우 정확도를 희생하거나 강건성을 크게 향상시키지 못하는 기존 방법의 한계를 극복하기 위해.
• 기울기 가로막힘(gradiente masking) 없이 동시에 강건성, 압축성, 청소년 정확도를 최적화할 수 있는 훈련 프레임워크를 개발하기 위해.
• 적절한 정규화로 훈련된 희박 모델이 밀도 모델보다 더 강건할 수 있음을 입증하기 위해.

제안 방법

• 강건성을 향상시키기 위해 훈련 중 채널별로 가중 가능한, 계층별로 다른 가우시안 노이즈를 주입하는 채널별 노이즈 주입(CNI)을 적대적 훈련과 융합한다.
• 가중치에 L1(라소) 정규화를 적용하여 희박성을 촉진함으로써 많은 가중치를 0에 수렴시키고, 높은 프루닝 비율을 달성한다.
• PGD 및 FGSM 공격을 포함한 적대적 훈련을 통해 화이트박스 공격에 대한 강건성을 향상시킨다.
• 훈련 후 임계값 기반 프루닝 전략을 사용하며, 학습된 감마 임계값(γ) 이하의 가중치는 제거하여 높은 희박성을 달성한다.
• 청소년 정확도, PGD 공격 하에서의 강건성, 가중치 희박성의 세 가지를 동시에 최적화하는 다중 목적 손실 함수를 사용한다.
• 방어 기법이 기울기 가로막힘에 의존하지 않는다는 것을 검증하기 위해 공격 강도가 증가함에 따라 성능 저하가 선형적으로 나타나며, 블랙박스 공격에서 화이트박스 공격보다 더 우수한 성능을 보임을 확인한다.

실험 결과

연구 질문

• RQ1 기존의 가정과는 반대로, 가중치 프루닝이 적대적 강건성을 떨어뜨리는 것이 아니라 향상시킬 수 있는가?
• RQ2 L1 정규화와 적대적 훈련, 노이즈 주입을 결합하면 희박하고 강건한 모델을 얻을 수 있는가?
• RQ3 단일 훈련 절차로 청소년 정확도, PGD 및 FGSM 공격에 대한 강건성, 높은 희박성을 동시에 최적화할 수 있는가?
• RQ4 관찰된 강건성이 진정된 일반화의 결과인지, 아니면 기울기 가로막힘 같은 잡음의 결과인가?
• RQ5 추론 시점의 노이즈 존재가 프루닝된 모델의 강건성에 어떤 영향을 미치는가?

주요 결과

• RSR는 CIFAR-10에서 PGD 적대적 훈련 기준보다 PGD 강건성 정확도를 8.72% 향상시키고 청소년 정확도를 0.68% 향상시키며, ResNet-18의 가중치를 85.36% 프루닝할 수 있다.
• 프루닝된 ResNet-18 모델은 PGD 강건성 정확도 53.03%를 달성하여 PGD, PNI, DQ, SR, DP, RSE 등 최신 기준 방어 기법들을 모두 능가한다.
• 추론 시 노이즈를 비활성화한 후에도 프루닝된 RSR 모델은 PGD 정확도 41.61%를 유지하여, 강건성이 노이즈 자체 때문이 아니라 정규화와 희박성 덕분임을 확인한다.
• 기울기 가로막힘의 징후가 없음: 공격 강도가 증가함에 따라 강건성이 선형적으로 감소하고, 블랙박스 공격에서 화이트박스 공격보다 더 뛰어난 성능을 보인다.
• 가중치 분포 분석 결과, RSR 훈련 후 ResNet-18의 85% 이상의 가중치가 1e-5 이하로 근접하게 되어, 정확도 손실을 최소화하면서도 높은 희박성을 달성함을 확인한다.
• 최적의 프루닝 임계값 γ는 청소년 정확도, 강건성, 희박성 간의 균형을 조정할 수 있도록 조정 가능하여, 다양한 아키텍처에서 본 방법의 유연성과 효과성을 입증한다.