[논문 리뷰] Proper Network Interpretability Helps Adversarial Robustness in Classification

Akhilan Boopathy, Sijia Liu외 5명|arXiv (Cornell University)|2020. 06. 26.

Adversarial Robustness in Machine Learning인용 수 28

한 줄 요약

이 논문은 $\epsilon$-강건한 $Ø_1$-노름 해석 불일치 측정법을 사용하여 직접적으로 강건한 네트워크 해석을 촉진함으로써 적대적 공격에 대한 강건성을 향상시키는 새로운 해석 인식 방어 기법을 제안한다. 강건한 해석만으로도 상태최저 기법인 적대적 훈련 방법을 능가하며, 특히 큰 변형에 대해서는 강건한 분류와 강건한 해석을 동시에 달성할 수 있으며, 적대적 손실 최소화 없이도 성능을 내는 것으로 입증되었다.

ABSTRACT

Recent works have empirically shown that there exist adversarial examples that can be hidden from neural network interpretability (namely, making network interpretation maps visually similar), or interpretability is itself susceptible to adversarial attacks. In this paper, we theoretically show that with a proper measurement of interpretation, it is actually difficult to prevent prediction-evasion adversarial attacks from causing interpretation discrepancy, as confirmed by experiments on MNIST, CIFAR-10 and Restricted ImageNet. Spurred by that, we develop an interpretability-aware defensive scheme built only on promoting robust interpretation (without the need for resorting to adversarial loss minimization). We show that our defense achieves both robust classification and robust interpretation, outperforming state-of-the-art adversarial training methods against attacks of large perturbation in particular.

연구 동기 및 목표

• 네트워크 해석 가능성과 적대적 강건성 간의 관계를 조사하며, 특히 강건한 해석이 강건한 분류를 향상시킬 수 있는지 탐구한다.
• 적절한 측정법을 사용할 경우 해석을 피하는 적대적 예외 사례가 본질적으로 피할 수 없음을 보여주어, 해석을 피하는 것을 도전 과제로 다룬다.
• 적대적 손실 최소화에 의존하지 않고 해석 가능성 강건성 향상을 주요 목표로 삼는 방어 기법을 개발한다.
• 강건한 해석이 큰 변형을 가진 적대적 공격에 대해 강건성을 향상시킬 수 있음을 경험적으로 검증한다.
• 해석 불일치를 적대적 강건성의 대체 측정법으로 사용할 수 있는 이론적 근거를 제공한다.

제안 방법

• 적대적 변형이 정상 입력 대비 해석 맵에 얼마나 영향을 미치는지 수량화하기 위해 2클래스 해석 불일치 측정법인 $Ø_1$-노름을 도입한다.
• 이 불일치 측정법의 제약이 적대적 강건성을 향상시킨다는 것을 이론적으로 증명하며, 해석과 강건성 간의 체계적인 연결 고리를 확립한다.
• 해석 불일치 손실을 사용하여 강건한 해석을 최적화하는 두 가지 해석 인식 훈련 방법(Int 및 Int2)을 제안한다.
• 해석 맵 생성에 클래스 구분 특성 국소화 방법(CAM 등)을 활용하고, 켄달의 타우 상관계수를 통해 변형에 대한 민감도를 측정한다.
• 적대적 손실을 사용하지 않고, 표준 교차 엔트로피 손실에 $Ø_1$-노름 해석 불일치 페널티를 추가하여 모델을 훈련시킨다.
• 표준 공격 및 강력한 적대적 공격을 사용하여 MNIST, CIFAR-10 및 제한된 ImageNet에서 방법의 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 강건한 네트워크 해석만으로도 적대적 공격에 대한 방어 수단이 될 수 있는가?
• RQ2 적절한 불일치 측정법을 사용할 경우, 적대적 예외 사례가 해석을 피하는 것이 이론적·경험적으로 가능한가?
• RQ3 큰 변형에 대해 해석 인식 훈련은 적대적 훈련에 비해 강건성 면에서 어떻게 비교되는가?
• RQ4 해석 인식 훈련을 통해 적대적 데이터 증강 없이도 일반화 및 강건성을 향상시킬 수 있는가?
• RQ5 강건한 해석을 촉진하는 것이 적대적 훈련에서 유사한 시각적으로 일치하는 강건한 특징을 만들어내는가?

주요 결과

• 제안된 Int 및 Int2 방법은 Adv, TRADES 및 IG-Norm와 같은 최신 기법보다 더 높은 적대적 강건성을 확보하며, 특히 큰 변형($\epsilon \geq 0.3$ on MNIST 및 $\epsilon \geq 8/255$ on R-ImageNet)에 대해 뛰어난 성능을 보인다.
• MNIST에서 $\epsilon = 0.4$일 때, Int2는 해석에 대한 공격(AAI)에 대해 켄달의 타우 상관계수 0.351을 기록하여 IG-Norm(0.094)과 TRADES(0.115)를 모두 능가한다.
• R-ImageNet에서 $\epsilon = 10/255$일 때, Int2는 켄달의 타우 상관계수 0.939를 유지하며, Normal(0.619)과 Adv(0.858)를 크게 앞서나간다.
• 특징 시각화 결과, Int 및 Int2는 Normal 및 IG-Norm와 달리 적대적 훈련(Adv)과 유사한 시각적으로 일치하는 텍스처 강건 특징을 학습한다.
• 이 방법은 적대적 손실 최소화 없이도 동시에 강건한 분류와 강건한 해석을 달성하며, 이는 IG 기반 강건한 특징 기반 훈련보다 계산 비용이 낮다.
• 모든 데이터셋과 변형 수준에서 Int 및 Int2는 해석 강건성이 뚜렷이 높게 유지되며, 제안된 불일치 측정법의 효과성을 확인한다.