[논문 리뷰] Interpreting Adversarial Robustness: A View from Decision Surface in Input Space

Fuxun Yu, Chenchen Liu외 3명|arXiv (Cornell University)|2018. 09. 29.

Adversarial Robustness in Machine Learning참고 문헌 8인용 수 19

한 줄 요약

이 논문은 입력 공간에서의 결정 경계 기하학을 기반으로 한 새로운 적대적 로버스트니 지표를 제안하며, 평탄하고 부드러운 결정 경계가 강건성과 강하게 상관됨을 입증한다. 학습 중 자코비안을 정규화하여 이러한 표면을 평탄하게 함으로써, 적대적 훈련 없이도 내재된 강건성을 향상시키는 방법을 제시한다. 이는 ℓ∞=3 공격에서 CIFAR10에서 Min-Max 훈련과 유사한 성능을 달성하면서도 훈련 오버헤드를 크게 줄였다.

ABSTRACT

One popular hypothesis of neural network generalization is that the flat local minima of loss surface in parameter space leads to good generalization. However, we demonstrate that loss surface in parameter space has no obvious relationship with generalization, especially under adversarial settings. Through visualizing decision surfaces in both parameter space and input space, we instead show that the geometry property of decision surface in input space correlates well with the adversarial robustness. We then propose an adversarial robustness indicator, which can evaluate a neural network's intrinsic robustness property without testing its accuracy under adversarial attacks. Guided by it, we further propose our robust training method. Without involving adversarial training, our method could enhance network's intrinsic adversarial robustness against various adversarial attacks.

연구 동기 및 목표

• 매개변수 공간에서의 평탄한 최소값이 일반화와 강건성을 예측한다는 기존의 믿음을 도전한다. 특히 적대적 환경 하에서 그러한 믿음이 타당한지 검토한다.
• 매개변수 공간에서의 손실 표면의 평탄함보다 입력 공간에서의 결정 경계 기하학적 성질이 적대적 강건성에 더 신뢰할 수 있는 지표가 되는지를 규명한다.
• 자코비안과 헤시안 행렬의 고유값을 기반으로 한 강건성 지표를 개발하여, 적대적 테스트 없이도 내재된 강건성을 정량화한다.
• 이 지표를 기반으로 한 강건한 훈련 방법을 설계하여, 비용이 많이 드는 적대적 예제 생성을 피하면서 기울기 정규화를 통해 적대적 강건성을 향상시킨다.

제안 방법

• 기존의 매개변수 공간 손실 표면 시각화와 대조적으로, 입력 공간 내의 보간 방향을 따라 2차원 투영을 사용해 입력 공간에서의 결정 경계 표면을 시각화한다.
• 특히 자코비안 및 헤시안 행렬의 고유값을 중심으로 한 결정 경계의 기하학적 성질을 정의함으로써 내재된 강건성을 정량화하는 강건성 지표를 제안한다.
• 결정 경계를 평탄하게 만들기 위해 자코비안의 ℓ1 노름을 정규화하는 훈련 목표를 제안함으로써, 더 부드러운 입력 공간 기하학을 통해 강건성을 향상시킨다.
• 테일러 근사법을 사용해 입력 주변의 국소적 행동을 모델링함으로써, 적대적 예제 생성 없이도 기울기 기반 정규화를 가능하게 한다.
• 표준 데이터셋(MNIST, CIFAR10)에 대해 자연 훈련, 적대적 훈련, 그리고 제안된 기울기 정규화 훈련을 비교한다.
• 결정 경계와 자코비안 맵의 시각화를 통해, 강건한 모델에서 민감도가 감소하고 국소적 이웃이 더 평탄함을 보여주며 방법을 검증한다.

실험 결과

연구 질문

• RQ1 입력 공간에서의 결정 경계 기하학이 매개변수 공간에서의 손실 표면 평탄함보다 적대적 강건성과 더 강하게 상관되는가?
• RQ2 FGSM, PGD, C&W와 같은 다양한 적대적 공격 방법들이 공통으로 이용하는 기하학적 메커니즘은 무엇인가?
• RQ3 자코비안과 헤시안 고유값에서 유도된 강건성 지표가 적대적 예제 테스트 없이도 적대적 강건성을 예측할 수 있는가?
• RQ4 훈련 과정에서의 기울기 정규화가 적대적 예제 생성 없이도 적대적 강건성을 향상시킬 수 있는가?
• RQ5 제안된 방법은 최신의 적대적 훈련 기법과 비교해 강건성과 훈련 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 입력 공간에서의 결정 경계는 적대적 노이즈 하에 상당한 비연속성과 불연속성을 보이며, 반면 매개변수 공간의 손실 표면은 여전히 평탄함을 유지함으로써, 매개변수 공간의 평탄성이 강건성을 예측하지 못함을 시사한다.
• 적대적 공격는 결정 경계의 기하학적 성질을 악용한다. 특히 국소 곡률과 기울기 방향을 이용해 결정 경계를 가장 짧은 경로로 넘는다.
• 자코비안과 헤시안 고유값에서 유도된 제안된 강건성 지표는 적대적 테스트 없이도 내재된 강건성을 효과적으로 예측한다.
• 제안된 기울기 정규화 방법은 자연 모델 대비 자코비안의 ℓ1 노름을 10배 감소시키고, 헤시안은 3배 감소시켜 결정 경계를 더 평탄하게 만든다.
• ℓ∞=3 조건에서 CIFAR10에서 제안된 방법은 Min-Max 적대적 훈련과 유사한 강건성(약 40% 정확도)을 달성하지만, 에포크당 훈련 시간은 2.1배로 증가할 뿐이지, 적대적 데이터 증강의 10배 오버헤드를 피한다.
• 더 큰 ℓ∞ 노름에서 성능 저하가 발생함에 따라, 더 넓은 이웃에서의 테일러 근사 유효성 제한으로 인한 한계가 드러난다.