[논문 리뷰] CausalAdv: Adversarial Robustness through the Lens of Causality

Yonggang Zhang, Mingming Gong외 6명|arXiv (Cornell University)|2021. 06. 11.

Adversarial Robustness in Machine Learning인용 수 14

한 줄 요약

CausalAdv는 이미지 스타일과 같은 혼란 인자(예: 스타일)와 레이블 간의 인과적 그래프를 통해 허위 상관관계를 식별함으로써, 인과 기반 접근법을 통해 적대적 방어력을 향상시킨다. 간섭 기반 분포 정합을 통해 자연 데이터 및 적대적 데이터 분포를 정합함으로써 허위 상관관계에 대한 의존도를 감소시키며, PGD 및 AutoAttack을 포함한 다양한 공격에 대해 CIFAR-10 및 CIFAR-100에서 최신 기준을 달성하는 강건한 정확도를 달성한다.

ABSTRACT

The adversarial vulnerability of deep neural networks has attracted significant attention in machine learning. As causal reasoning has an instinct for modelling distribution change, it is essential to incorporate causality into analyzing this specific type of distribution change induced by adversarial attacks. However, causal formulations of the intuition of adversarial attacks and the development of robust DNNs are still lacking in the literature. To bridge this gap, we construct a causal graph to model the generation process of adversarial examples and define the adversarial distribution to formalize the intuition of adversarial attacks. From the causal perspective, we study the distinction between the natural and adversarial distribution and conclude that the origin of adversarial vulnerability is the focus of models on spurious correlations. Inspired by the causal understanding, we propose the Causal inspired Adversarial distribution alignment method, CausalAdv, to eliminate the difference between natural and adversarial distributions by considering spurious correlations. Extensive experiments demonstrate the efficacy of the proposed method. Our work is the first attempt towards using causality to understand and mitigate the adversarial vulnerability.

연구 동기 및 목표

• 딥 신경망의 적대적 취약성에 대한 인과적 수식화가 부족한 문제를 해결하기 위해.
• 혼란 인자에 대한 간섭으로 인해 발생하는 분포 이탈로 인해 적대적 공격를 수식화하기 위해.
• 레이블과 비인과적 이미지 특징 간의 허위 상관관계를 제거함으로써 적대적 취약성을 완화하는 방법을 개발하기 위해.
• 적대적 데이터 생성을 위한 인과 그래프를 구성함으로써 인과성과 적대적 방어력 간 격차를 메우기 위해.
• 기존의 표준 적대적 훈련 히우리스틱에 의존하지 않고 강건성을 향상시키는 분포 정합 방법을 제안하기 위해.

제안 방법

• 레이블이 콘텐츠 요소에 의해 유도되고, 혼란 인자(예: 스타일)가 레이블과 독립적이지만 데이터 내에서 상관관계를 가지는 데이터 생성 과정을 모델링하는 인과 그래프를 구축한다.
• 자연 분포에 대한 간섭으로서 적대적 분포를 정의하며, 이를 통해 혼란 인자를 조작하여 적대적 예제를 생성한다.
• 레이블과 혼란 인자 간의 허위 상관관계가 적대적 취약성의 근본 원인임을 식별한다.
• 허위 특징에 대한 의존도를 명시적으로 모델링하고 감소시킴으로써 자연 및 적대적 분포 간의 격차를 최소화하는 CausalAdv라는 분포 정합 방법을 제안한다.
• 간섭 기반 분포 정합을 통해 모델이 스타일이나 텍스처 아티팩트보다는 인과적 콘텐츠 기반 특징에 의존하도록 유도한다.
• Madr 및 TRADES와 같은 기존의 적대적 훈련 방법과 핵심 원리를 공유하지만, 더 나은 강건성과 과적합 감소를 위해 인과적 추론에 기반한다.

실험 결과

연구 질문

• RQ1 어떻게 인과성이 적대적 공격의 메커니즘과 그로 인한 분포 이탈을 수식화할 수 있는가?
• RQ2 레이블과 혼란 인자 간의 허위 상관관계가 적대적 취약성에 어떤 역할을 하는가?
• RQ3 적대적 예제에 대한 인과적 이해가 더 강건한 딥 러닝 모델을 도출할 수 있는가?
• RQ4 기본적인 인과적 구조 기반 분포 정합은 표준 적대적 훈련에 비해 강건성과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 혼란 인자에 대한 인과적 간섭이 자연 정확도를 희생시키지 않고 모델의 강건성을 향상시킬 수 있는가?

주요 결과

• 적대적 취약성의 근본 원인은 딥 신경망이 이미지 스타일과 같은 혼란 인자와 레이블 간의 허위 상관관계에 의존하기 때문이다.
• CIFAR-10에서 CausalAdv는 최고 성능로 54.44%의 강건 정확도를 달성했으며, 최종 체크포인트에서 50.93%를 기록하여 Madry에 비해 최고 성능와 최종 성능 간 격차를 줄였다.
• CIFAR-100에서 CausalAdv는 PGD 및 AutoAttack 공격 하에서 최신 기준 강건 정확도를 달성했으며, TRADES 및 Madry를 포함한 기존 방법들을 능가했다.
• 기존 적대적 훈련에서 흔히 발생하는 강건 과적합 현상(일정 훈련 에포크 이후 강건 정확도가 감소)을 감소시켰다.
• CausalAdv는 Madry 및 TRADES와 개념적으로 유사하지만, 허위 상관관계를 명시적으로 모델링하고 완화함으로써 더 높은 강건성을 달성했다.
• 제안된 방법은 MNIST, CIFAR-10, CIFAR-100 등 다양한 데이터셋과 FGSM, PGD, C&W, AutoAttack 등 다양한 적대적 공격 하에서도 검증되었으며, 일관된 강건성 향상을 보였다.