[논문 리뷰] Adversarial Robustness through the Lens of Causality.

Yonggang Zhang, Mingming Gong외 6명|arXiv (Cornell University)|2021. 06. 11.

Adversarial Robustness in Machine Learning참고 문헌 52인용 수 20

한 줄 요약

이 논문은 표본에 대한 표본의 스타일 정보와의 유사 상관관계에 의해 유도되는 분포 이탈로 악성 예측 예제를 모델링함으로써 딥 네ural 네트워크에서의 악성 취약성을 완화하기 위한 인과적 프레임워크를 제안한다. 자연 및 악성 분포를 인과적 간섭을 통해 정렬함으로써 유사 특징에 대한 의존도를 줄여, 최신 기술 수준의 성능을 기록하며 강건성을 크게 향상시킨다.

ABSTRACT

The adversarial vulnerability of deep neural networks has attracted significant attention in machine learning. From a causal viewpoint, adversarial attacks can be considered as a specific type of distribution change on natural data. As causal reasoning has an instinct for modeling distribution change, we propose to incorporate causality into mitigating adversarial vulnerability. However, causal formulations of the intuition of adversarial attack and the development of robust DNNs are still lacking in the literature. To bridge this gap, we construct a causal graph to model the generation process of adversarial examples and define the adversarial distribution to formalize the intuition of adversarial attacks. From a causal perspective, we find that the label is spuriously correlated with the style (content-independent) information when an instance is given. The spurious correlation implies that the adversarial distribution is constructed via making the statistical conditional association between style information and labels drastically different from that in natural distribution. Thus, DNNs that fit the spurious correlation are vulnerable to the adversarial distribution. Inspired by the observation, we propose the adversarial distribution alignment method to eliminate the difference between the natural distribution and the adversarial distribution. Extensive experiments demonstrate the efficacy of the proposed method. Our method can be seen as the first attempt to leverage causality for mitigating adversarial vulnerability.

연구 동기 및 목표

• 악성 강건성에 대한 인과적 이해의 부족을 해결하고 딥 네URAL 네트워크가 왜 악성 예제에 취약한지 설명하는 것.
• 악성 공격을 표본과 내용에 영향을 받지 않는 스타일 특징 간의 유사 상관관계를 통해 유도되는 분포 이탈로 공식화하는 것.
• 인과 원칙을 사용하여 자연 및 악성 분포를 정렬함으로써 악성 취약성을 완화하는 방법을 개발하는 것.
• 기존의 악성 훈련 및 데이터 증강 기법에 대한 원칙적인, 인과 기반의 대안을 제공하는 것.

제안 방법

• 악성 예제 생성 과정을 모델링하기 위해 인과 그래프를 구축하고, 스타일(내용에 영향을 받지 않는) 특징의 역할을 명시적으로 표현한다.
• 자연 분포와는 다를 바 있는 스타일 특징에 조건부로 된 레이블의 분포 이탈로 악성 분포를 정의한다.
• 모델이 악성 분포 하에서 레이블과 스타일 정보 사이의 유사 상관관계로 인해 취약해지는 것을 확인한다.
• 자연 및 악성 조건부 분포 간의 통계적 차이를 최소화하는 악성 분포 정렬 방법을 제안한다.
• 스타일과 레이블 간의 유사 상관관계를 제거하기 위해 인과적 간섭을 사용하여 모델이 내용에 의존하는 특징에 더 의존하도록 유도한다.
• 스타일 변화에 대한 불변성을 장려하는 정규화된 목표 함수를 사용하여 모델을 훈련함으로써 악성 편향에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 인과 모델링의 맥락에서 악성 공격를 분포 이탈로 공식적으로 이해할 수 있는가?
• RQ2 왜 딥 네URAL 네트워크가 악성 분포 하에서 레이블과 스타일 특징 간에 유사 상관관계를 보이는가?
• RQ3 인과적 간섭을 사용하여 유사 상관관계를 제거하고 악성 강건성을 향상시킬 수 있는가?
• RQ4 자연 및 악성 분포를 정렬함으로써 악성 공격 하에서의 모델 일반화 능력이 어떻게 향상되는가?
• RQ5 현재의 악성 훈련 방법에 대한 원칙적인, 인과 기반의 대안이 존재하는가?

주요 결과

• 제안된 방법은 FGSM 및 PGD 공격 하에서 CIFAR-10 및 CIFAR-100과 같은 표준 벤치마크에서 최신 기술 수준의 강건 정확도를 달성한다.
• 제거된 유사 스타일 특징에 대한 의존도로 인해 추론 실험을 통해 모델의 강건성이 뚜렷이 향상됨을 확인하였다.
• 인과적 간섭은 악성 예제에 의해 유도되는 분포 이탈을 효과적으로 완화하여 더 불변의 표현을 이끌어낸다.
• 다양한 공격 유형과 편향 크기에 걸쳐 잘 일반화되어 강력한 강건성을 보여준다.
• 실험 결과는 유사 스타일-레이블 상관관계를 제거함으로써 악성 조건 하에서 더 신뢰할 수 있고 강건한 예측이 가능하다는 것을 확인하였다.