[논문 리뷰] Exploring the Vulnerability of Deep Neural Networks: A Study of Parameter Corruption

Xu Sun, Zhiyuan Zhang외 3명|arXiv (Cornell University)|2020. 06. 10.

Adversarial Robustness in Machine Learning참고 문헌 43인용 수 7

한 줄 요약

이 논문은 작은 파라미터 손상에 대한 최악의 손실 변화를 추정함으로써, 경사 기반 방법을 제안하여 딥 네ural 네트워크 파라미터의 강건성을 측정한다. 이는 랜덤한 손상에 대한 저항성은 있지만, 타겟된 손상에는 매우 취약한 모델임을 드러낸다. 이 방법은 적대적 손상에 강건한 훈련을 가능하게 하여, ResNet-34 및 Transformer와 같은 아키텍처에서 파라미터 강건성과 모델 정확도를 모두 향상시킨다.

ABSTRACT

We argue that the vulnerability of model parameters is of crucial value to the study of model robustness and generalization but little research has been devoted to understanding this matter. In this work, we propose an indicator to measure the robustness of neural network parameters by exploiting their vulnerability via parameter corruption. The proposed indicator describes the maximum loss variation in the non-trivial worst-case scenario under parameter corruption. For practical purposes, we give a gradient-based estimation, which is far more effective than random corruption trials that can hardly induce the worst accuracy degradation. Equipped with theoretical support and empirical validation, we are able to systematically investigate the robustness of different model parameters and reveal vulnerability of deep neural networks that has been rarely paid attention to before. Moreover, we can enhance the models accordingly with the proposed adversarial corruption-resistant training, which not only improves the parameter robustness but also translates into accuracy elevation.

연구 동기 및 목표

• 딥 네ural 네트워크 파라미터의 손상에 대한 미처 탐색되지 않은 취약성을 다루며, 이는 강건성과 일반화에 영향을 미친다.
• 랜덤한 손상 시험의 한계를 극복하기 위해, 파라미터 손상 하에 최악의 손실 변화를 효율적으로 추정하는 경사 기반 추정기를 개발한다.
• 특히 정규화 레이어를 포함한 다양한 레이어와 구성 요소에서 파라미터 강건성을 체계적으로 분석한다.
• 모델의 강건성과 정확도를 향상시키는 새로운 적대적 손상에 강건한 훈련 방법을 제안한다.

제안 방법

• 소규모이고 타겟된 파라미터 편향(손상)에 대한 최대 손실 변화를 측정하는 강건성 지표를 제안하며, 이는 비자명한 이웃 영역 내 최악의 손실 변화로 정의된다.
• 계산적으로 비현실적인 랜덤 탐색을 피하기 위해, 최악의 손상 방향을 효율적으로 찾는 경사 기반 추정 기법을 도입한다.
• L∞ 및 L2 노름을 사용하여 손상 크기를 정의하고, ResNet-34와 Transformer의 레이어 전반에 걸쳐 취약성 분석을 적용한다.
• ResNet-34의 하위 레이어는 더 강건한 반면, Transformer 디코더와 배치 정규화 레이어는 더 취약한 것으로 밝혀졌다.
• 손실 곡면의 급격한 방향을 피하기 위해 최적화 중 가상의 파라미터 손상을 주입함으로써, 적대적 손상에 강건한 훈련을 설계한다.
• 이론적 및 실증적 검증을 통해 손상에 강건한 파라미터가 더 잘 일반화되며 정확도가 향상됨을 확인한다.

실험 결과

연구 질문

• RQ1 딥 네URAL 네트워크 파라미터는 타겟된 손상에 얼마나 취약한가? 이 취약성은 다양한 레이어와 구성 요소 간에 어떻게 달라지는가?
• RQ2 경사 기반 추정이 랜덤한 손상 시험에 비해 최악의 파라미터 편향을 더 잘 식별할 수 있는가?
• RQ3 왜 배치 정규화와 같은 정규화 레이어는 다른 구성 요소에 비해 더 높은 취약성을 보이는가?
• RQ4 가상의 파라미터 손상을 사용한 훈련이 강건성과 일반화 성능을 모두 향상시키는가?
• RQ5 손실 곡면의 어떤 구조적 및 기하적 특성이 파라미터 강건성과 관련이 있는가?

주요 결과

• ResNet-34의 배치 정규화 레이어는 인접한 합성곱 레이어보다 훨씬 더 취약하며, ε=5인 L∞-노름 손상 하에서 정확도가 60% 이상 감소한다.
• ResNet-34의 하위 레이어는 ε=20 손상 하에서도 90% 이상의 정확도를 유지하는 반면, Transformer의 상위 레이어는 더 민감한 것으로 나타났다.
• 경사 기반 손상 방법은 랜덤 시험에 비해 최악의 성능 저하를 더 효과적으로 식별하며, 랜덤 샘플링으로는 놓치는 손실 곡면의 급격한 방향을 드러낸다.
• 가상의 손상을 사용한 적대적 손상에 강건한 훈련은 ResNet-34에서 ImageNet의 Top-1 정확도를 최대 1.2% 향상시키며, CIFAR-10에서는 0.8% 향상된다. 이는 파라미터 강건성 향상과 함께 이루어진다.
• 가상의 손상을 주입한 훈련을 거친 모델은 더 낮은 파라미터 편향에 대한 민감도와 더 평탄한 국소 손실 표면을 보이며, 더 우수한 일반화 성능을 나타낸다.
• 최악의 손실 변화 지표는 비자명한 강건성의 상충 관계를 성공적으로 캡처하였으며, 낮은 손실이 높은 강건성을 의미하지는 않음을 보여주며, 손실 곡면 상의 점 B는 점 A보다 더 취약한 것으로 밝혀졌다.