[논문 리뷰] The Search for Sparse, Robust Neural Networks

Justin Cosentino, Federico Zaiter외 2명|arXiv (Cornell University)|2019. 12. 05.

Adversarial Robustness in Machine Learning참고 문헌 23인용 수 15

한 줄 요약

이 논문은 로또 티켓 가설과 적대적 훈련을 융합하여 희소하고 강건한 신경망을 발견하는 방법을 제안한다. 반복적인 프루닝과 재훈련을 통해 식별된 하위망은 밀도가 높은 대비와 비교해도 96.4%의 희소성에서도 더 높은 적대적 정확도를 달성하며, 훈련 속도는 빠르고 자연적 정확도는 경쟁 수준을 유지한다.

ABSTRACT

Recent work on deep neural network pruning has shown there exist sparse subnetworks that achieve equal or improved accuracy, training time, and loss using fewer network parameters when compared to their dense counterparts. Orthogonal to pruning literature, deep neural networks are known to be susceptible to adversarial examples, which may pose risks in security- or safety-critical applications. Intuition suggests that there is an inherent trade-off between sparsity and robustness such that these characteristics could not co-exist. We perform an extensive empirical evaluation and analysis testing the Lottery Ticket Hypothesis with adversarial training and show this approach enables us to find sparse, robust neural networks. Code for reproducing experiments is available here: https://github.com/justincosentino/robust-sparse-networks.

연구 동기 및 목표

• 희소 하위망이 과다 매개변수화된 모델을 요구하지 않고도 높은 적대적 강건성을 달성할 수 있는지 조사하기 위해.
• 강건성 역시 정확도와 마찬가지로 과다 매개변수화된 네트워크에서 운이 좋은 가중치 초기화에 기인할 수 있다는 가설을 검증하기 위해.
• 로또 티켓 가설이 적대적 훈련을 통해 희소하고 강건한 신경망을 찾는 데로 확장될 수 있는지 평가하기 위해.
• 다양한 희소성 수준과 적대적 공격 조건에서 로또 티켓 프루닝, 계속된 훈련, 무작위 재초기화 프루닝의 성능을 비교하기 위해.

제안 방법

• 크기 기반 기준을 사용하여 밀도가 높고 과다 매개변수화된 신경망에 대해 반복적인 비구조적 프루닝을 적용한다.
• 로또 티켓 가설에 따라 프루닝된 하위망을 별도로 재훈련하여 승리 티켓을 식별한다.
• 재훈련 단계 동안 FGSM 및 PGD 공격를 사용하여 적대적 훈련을 통합하여 강건성을 향상시킨다.
• MNIST 및 Fashion-MNIST 데이터셋에서 여러 희소성 수준(1.8%에서 96.4%까지)에서 모델을 평가한다.
• 검증 손실 기반 조기 정지 전략을 사용하여 다양한 방법 간의 훈련 효율성을 비교한다.
• 프루닝 전략 간 성능 비교: 로또 티켓, 계속된 훈련, 무작위 재초기화

실험 결과

연구 질문

• RQ1 로또 티켓 가설을 통해 식별된 희소 하위망이 밀도가 높은 대비와 비교해 유사하거나 더 높은 적대적 강건성을 달성할 수 있는가?
• RQ2 희소성과 적대적 강건성 사이에 상충 관계가 존재하는가, 아니면 둘 다 동시에 달성할 수 있는가?
• RQ3 로또 티켓 재훈련 중에 적대적 훈련을 적용하면 최종적인 강건성과 일반화 성능에 어떤 영향을 미치는가?
• RQ4 특히 PGD 공격와 같은 더 강력한 공격 조건에서, 계속된 훈련이 고희소성 수준에서 로또 티켓 프루닝을 능가하는가?
• RQ5 어느 희소성 수준에서 로또 티켓이 자연적 정확도와 적대적 정확도 양면에서 다른 프루닝 방법을 일관되게 능가하는가?

주요 결과

• 최고의 강건한 로또 티켓은 16.9%의 희소성으로 원래의 밀도가 높은 네트워크보다 적대적 정확도에서 뛰어난 성능을 보였으며, 자연적 정확도는 유사하게 유지했다.
• 96.4%의 희소성에서도 승리 티켓은 원래의 밀도가 높은 모델보다 더 높은 적대적 정확도를 달성했으며, 이는 희소성-강건성 상충 관계에 대한 믿음에 도전하는 결과였다.
• 로또 티켓 접근법은 원래의 밀도가 높은 네트워크보다 빠르게 훈련되었고, 검증 손실 기반 조기 정지를 사용할 경우 더 좋은 성능을 냈다.
• PGD 공격 조건에서 MNIST에서 51.3%의 희소성 수준에서 계속된 훈련이 로또 티켓 프루닝을 능가했으며, 이는 더 강력한 공격 조건에서 다른 프루닝 전략이 유리할 수 있음을 시사한다.
• 가장 높은 희소성 수준(3.6% 및 1.8%)에서 로또 티켓은 다른 방법을 일관되게 능가했으며, 이는 운이 좋은 초기화가 특정 희소성 임계값을 초월하면 매우 중요해짐을 시사한다.
• 무작위 재초기화 프루닝은 모든 평가 조건에서 다른 모든 방법에 뒤지며, 스케일에 따라 강건성을 확보하기 위해 초기화 인식 프루닝이 필수적임을 나타낸다.