[논문 리뷰] Linearity Grafting: Relaxed Neuron Pruning Helps Certifiable Robustness

Tianlong Chen, Huan Zhang외 5명|arXiv (Cornell University)|2022. 06. 15.

Adversarial Robustness in Machine Learning인용 수 4

한 줄 요약

이 논문은 인해성 있는 ReLU 뉴런을 학습 가능한 선형 활성화로 대체하여 인증 가능한 강건성과 검증 확장성을 향상시키는 느슨한 뉴런 프루닝 방법인 선형성 이식을 소개한다. 기울기와 절편 파라미터를 최적화함으로써, 인증 강건 훈련 없이도 기준 모델 대비 최대 82.30% 높은 인증 정확도를 달성하며, 최대 1700만 파라미터를 가진 대규모 모델에 대해 완전한 검증을 가능하게 한다.

ABSTRACT

Certifiable robustness is a highly desirable property for adopting deep neural networks (DNNs) in safety-critical scenarios, but often demands tedious computations to establish. The main hurdle lies in the massive amount of non-linearity in large DNNs. To trade off the DNN expressiveness (which calls for more non-linearity) and robustness certification scalability (which prefers more linearity), we propose a novel solution to strategically manipulate neurons, by "grafting" appropriate levels of linearity. The core of our proposal is to first linearize insignificant ReLU neurons, to eliminate the non-linear components that are both redundant for DNN performance and harmful to its certification. We then optimize the associated slopes and intercepts of the replaced linear activations for restoring model performance while maintaining certifiability. Hence, typical neuron pruning could be viewed as a special case of grafting a linear function of the fixed zero slopes and intercept, that might overly restrict the network flexibility and sacrifice its performance. Extensive experiments on multiple datasets and network backbones show that our linearity grafting can (1) effectively tighten certified bounds; (2) achieve competitive certifiable robustness without certified robust training (i.e., over 30% improvements on CIFAR-10 models); and (3) scale up complete verification to large adversarially trained models with 17M parameters. Codes are available at https://github.com/VITA-Group/Linearity-Grafting.

연구 동기 및 목표

• 깊은 ReLU 네트워크에서 과도한 비선형성으로 인해 발생하는 신경망 검증의 확장성 문제를 해결하기 위해.
• 시간이 오래 걸리는 인증 강건 훈련에 의존하지 않고도 인증 가능 강건성을 향상시키기 위해.
• 기존의 뉴런 프루닝 방식을 완화하기 위해, 뉴런을 제거하는 대신 조정 가능한 선형 활성화를 도입하기 위해.
• 불안정한 ReLU 뉴런의 수를 줄임으로써, 대규모 및 적대적 훈련된 모델에 대해 완전한 검증을 가능하게 하기 위해.
• 과도한 프루닝으로 인한 성능 저하를 방지하기 위해 최적화된 선형 파라미터를 통해 높은 모델 성능을 유지하기 위해.

제안 방법

• 활성화 기울기(GAP)를 중요도의 대체 지표로 사용하여 의미 없고 불안정한 ReLU 뉴런을 식별한다.
• 선택된 ReLU 뉴런을 $ a \times x + b $ 형태의 학습 가능한 선형 함수로 대체하며, 여기서 $ a $와 $ b $는 최적화 단계에서 조정된다.
• 일괄 또는 점진적인 이식 스케줄을 적용하여 점진적으로 뉴런을 대체하며, 하이퍼파라미터는 표준 훈련을 통해 튜닝된다.
• 검증을 위해 선형 근사를 사용하며, 비선형성이 감소할수록 계산 효율성이 높고 더 날카운 감도를 확보할 수 있다.
• 사전 훈련된 적대적 훈련된 모델에 이식을 통합하여, 다시 시작하지 않고도 인증 가능 강건성을 향상시킨다.
• 기울기와 절편을 모두 최적화하여 모델 표현력 유지 및 비활성화된 뉴런의 포화를 방지한다.

실험 결과

연구 질문

• RQ1 학습 가능한 선형 함수로 재건된 여유 있는 ReLU 뉴런이 인증 강건 훈련 없이도 인증 가능 강건성을 향상시킬 수 있는가?
• RQ2 선형성 이식을 통해 비선형성 감소로 인해 검증 경계가 더 탴튼지, 확장성 향상 여부는?
• RQ3 학습 가능한 선형 이식이 기존의 뉴런 프루닝(즉, 뉴런을 0으로 설정하는 것)과 비교해 성능 및 강건성 측면에서 어떻게 다른가?
• RQ4 선형성 이식이 대규모 적대적 훈련된 모델에 대해 완전한 검증을 가능하게 할 수 있는가?
• RQ5 이식 적용 시 표준 정확도, 검증 정확도, 훈련 효율성 간의 상호 보완적 특성은 무엇인가?

주요 결과

• 선형성 이식은 인증 강건 훈련 없이도 기준 모델 대비 CIFAR-10 모델에서 최대 82.30% 높은 인증 정확도를 달성했다.
• 1700만 파라미터 모델에서 인증 강건 훈련 없이도 $ \epsilon = 8/255 $ 에서 32.30%의 인증 정확도를 달성했다.
• 학습 가능한 파라미터($ a \times x + b $)를 사용한 이식은 뉴런을 0으로 설정한 표준 프루닝보다 성능이 뛰어나, 검증 정확도는 2.96% 향상되고 표준 정확도는 1.63% 향상되었다.
• 최첨단 인증 강건 훈련 대비 훈련 시간을 92.87% 단축시켰으며, 더 높은 검증 정확도와 표준 정확도를 달성했다.
• 점진적 이식은 일괄 이식 대비 略로 표준 정확도를 유지했지만, 약간 낮은 검증 정확도를 기록하여 안정성과의 상충 관계를 보였다.
• 이전에는 비선형성이 너무 높아 계산이 불가능했던 대규모 모델에 대해 완전한 검증을 가능하게 하여 확장성 향상을 입증했다.