[논문 리뷰] Adversarial Attacks, Regression, and Numerical Stability Regularization

André T. Nguyen, Edward Raff|arXiv (Cornell University)|2018. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 13인용 수 19

한 줄 요약

이 논문은 학습된 함수의 수치적 불안정성에 초점을 맞춘 새로운 정규화 기반 방어 기법을 제안한다. 이는 큰 기울기를 페널티로 주는 안정성 유도 정규화 항을 도입하여 기울기의 크기를 줄이고 함수의 매끄러움을 향상시킴으로써, 적대적 공격에 대한 강건성을 높이고 모델의 안정성을 향상시킨다. 이는 AAAI 2019 워크숍에서의 실험 평가에서 기존 방어 기법들을 능가한다.

ABSTRACT

Adversarial attacks against neural networks in a regression setting are a critical yet understudied problem. In this work, we advance the state of the art by investigating adversarial attacks against regression networks and by formulating a more effective defense against these attacks. In particular, we take the perspective that adversarial attacks are likely caused by numerical instability in learned functions. We introduce a stability inducing, regularization based defense against adversarial attacks in the regression setting. Our new and easy to implement defense is shown to outperform prior approaches and to improve the numerical stability of learned functions.

연구 동기 및 목표

• 회귀 신경망에서의 적대적 공격 문제에 대한 탐색이 부족한 문제를 해결하기 위해.
• 학습된 함수에서의 수치적 불안정성이 적대적 공격 취약성의 근본 원인임을 규명하기 위해.
• 수치적 안정성과 강건성을 향상시키는 실용적이고 효과적인 방어 기법을 개발하기 위해.
• 회귀 작업에서의 소규모 입력 변형에 대한 일반화 능력과 저항력을 향상시키기 위해.
• 기존 회귀 모델에 쉽게 통합할 수 있는 단순하지만 효과적인 정규화 기법을 제공하기 위해.

제안 방법

• 모델의 출력이 입력 변형에 대해 큰 기울기를 가지는 것을 페널티로 주는 새로운 정규화 항을 도입한다.
• 모델의 리프시츠 상수를 기반으로 하여 더 매끄럽고 안정적인 함수 근사 방식을 촉진한다.
• 손실 함수에 소규모 입력 변화에 대해 출력 변화도 작아지도록 유도하는 항을 추가하여 수치적 안정성을 향상시킨다.
• 표준 백프로파게이션 학습 중에 적용할 수 있는 미분 가능 정규화 항으로 구현된다.
• 기존의 적대적 훈련 및 방어 기법과 비교하기 위해 회귀 벤치마크에서 평가된다.
• 구조적 변경 없이 표준 딥러닝 프레임워크와 호환되며 경량으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 기본적인 수치적 불안정성 문제를 해결함으로써, 회귀 네트워크에서의 적대적 공격를 효과적으로 완화할 수 있는가?
• RQ2 함수의 매끄러움을 촉진하는 정규화 기반 접근 방식이 기존의 적대적 훈련 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 수치적 안정성을 향상시키는 것이 얼마나 강력하게 적대적 변형에 대한 강건성을 향상시키는가?
• RQ4 성능 저하 없이 단순하고 미분 가능한 정규화 항이 강건성과 안정성 향상에 효과적인가?
• RQ5 제안된 방법이 다양한 회귀 데이터셋과 모델 아키텍처에 일반화되는가?

주요 결과

• 제안된 정규화 방어 기법은 기준 방법 대비 회귀 작업에서의 적대적 공격에 대한 강건성을 크게 향상시킨다.
• 모델의 소규모 입력 변형에 대한 민감도가 감소하여 수치적 안정성이 향상됨을 입증한다.
• 실험 결과, 표준 적대적 훈련 및 기타 정규화 기법보다 정확도 유지 능력에서 뛰어난 성능을 보였다.
• 정규화 항은 모델의 리프시츠 상수를 효과적으로 감소시켜 더 매끄러운 함수 근사로 이어진다.
• 여러 회귀 데이터셋과 모델 아키텍처에서 효과적이며 광범위한 적용 가능성을 보였다.
• 구조적 변경이나 복잡한 훈련 절차 없이도 강건성이 향상됨을 확인했다.