[논문 리뷰] DropAttack: A Masked Weight Adversarial Training Method to Improve Generalization of Neural Networks

Shiwen Ni, Jiawen Li외 1명|arXiv (Cornell University)|2021. 08. 29.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 7

한 줄 요약

DropAttack는 훈련 중에 입력 특징과 모델 가중치의 무작위로 마스킹된 부분에 기반한 기울기 기반의 적대적 편향을 적용하는 새로운 마스킹된 가중치 적대적 훈련 방법이다. 이는 신경망의 일반화 성능을 향상시키며, 다섯 개인 자연어 처리(NLP) 및 컴퓨터 비전(CV) 벤치마크에서 최고 성능을 기록하고, 과적합을 줄이며 암묵적인 기울기 정규화를 통해 더 평탄한 손실 곡면을 촉진한다.

ABSTRACT

Adversarial training has been proven to be a powerful regularization method to improve the generalization of models. However, current adversarial training methods only attack the original input sample or the embedding vectors, and their attacks lack coverage and diversity. To further enhance the breadth and depth of attack, we propose a novel masked weight adversarial training method called DropAttack, which enhances generalization of model by adding intentionally worst-case adversarial perturbations to both the input and hidden layers in different dimensions and minimize the adversarial risks generated by each layer. DropAttack is a general technique and can be adopt to a wide variety of neural networks with different architectures. To validate the effectiveness of the proposed method, we used five public datasets in the fields of natural language processing (NLP) and computer vision (CV) for experimental evaluating. We compare the proposed method with other adversarial training methods and regularization methods, and our method achieves state-of-the-art on all datasets. In addition, Dropattack can achieve the same performance when it use only a half training data compared to other standard training method. Theoretical analysis reveals that DropAttack can perform gradient regularization at random on some of the input and wight parameters of the model. Further visualization experiments show that DropAttack can push the minimum risk of the model to a lower and flatter loss landscapes. Our source code is publicly available on https://github.com/nishiwen1214/DropAttack.

연구 동기 및 목표

• 기존의 적대적 훈련 방법이 입력 또는 임bedding 벡터에만 공격하는 데서 비롯되는 커버리지와 다양성의 한계를 해결하기 위해.
• 입력 외에도 모델 가중치에 적대적 공격를 확장함으로써 모델의 일반화 성능을 향상시키기 위해.
• 다양한 신경망 아키텍처에 효과적으로 적용 가능한 일반적인 목적의 정규화 기법을 개발하기 위해.
• 마스킹된 적대적 훈련이 더 평탄하고 낮은 손실의 최소값을 도출할 수 있으며, 이는 일반화 성능 향상에 기여한다는 것을 입증하기 위해.

제안 방법

• DropAttack는 각 훈련 반복 과정에서 입력 특징과 모델 가중치 파rameter의 무작위 마스킹된 부분에 적대적 편향을 적용한다.
• 기울기 기반 공격 전략을 사용하며, 입력과 가중치에 대한 손실의 기울기의 부호를 통해 편향을 계산한다.
• 입력 및 가중치 텐서의 요소 중 무작위 비율을 선택하여 적대적 편향을 적용하는 마스킹 메커니즘을 도입함으로써 공격의 다양성을 높인다.
• 표준 손실과 입력 및 가중치 편향에서 유도된 적대적 리스크의 합을 최소화하는 최적화 목표를 설정함으로써 기울기 정규화를 효과적으로 구현한다.
• 마스킹된 입력과 가중치 구성 요소에서 큰 기울기를 방지함으로써 암묵적인 기울기 정규화를 적용함으로써 더 평탄한 최소값을 촉진한다.
• 다양한 아키텍처와 호환되며, 최소한의 수정으로 표준 훈련 파이프라인에 통합할 수 있다.

실험 결과

연구 질문

• RQ1 입력과 모델 가중치 양쪽에 공격하는 적대적 훈련이 기존의 입력 전용 적대적 훈련을 초월하여 일반화 성능을 향상시킬 수 있는가?
• RQ2 입력과 가중치 차원에서 마스킹된 적대적 편향이 공격의 다양성과 커버리지를 증가시키는가?
• RQ3 DropAttack이 다양한 NLP 및 CV 벤치마크에서 더 적은 데이터로 최고 성능을 달성할 수 있는가?
• RQ4 DropAttack은 손실 곡면의 기하학적 특성, 특히 평탄함과 최소값 깊이에 어떤 영향을 미치는가?
• RQ5 DropAttack의 모델 기울기 정규화 효과에 대한 이론적 근거는 무엇인가?

주요 결과

• DropAttack은 IMDB, AG’s News, MNIST, CIFAR-10, SNLI를 포함한 테스트한 다섯 개인 공개 데이터셋에서 모두 최고 성능을 기록했다.
• 표준 훈련에서 사용하는 반만의 훈련 데이터로도 유사한 성능를 달성함으로써 높은 샘플 효율성을 보였다.
• DropAttack은 과적합을 줄이고 일반화 성능을 향상시키며, 특히 텍스트 분류와 같은 NLP 작업에서 두드러진 성능 향상을 보였다.
• 시각화 결과에 따르면 DropAttack은 손실 곡면에서 더 평탄하고 낮은 최소값을 도출함으로써 일반화 성능 향상에 기여한다는 것을 확인했다.
• 이론적 분석을 통해 DropAttack이 마스킹된 입력과 가중치 구성 요소에서 큰 기울기를 방지함으로써 암묵적인 기울기 정규화를 적용한다는 것이 확인되었다.
• 아키텍처 변경이나 상당한 하이퍼파rameter 튜닝 없이도 강건성과 일반화 성능 향상을 보였다.