[논문 리뷰] Adversarial Visual Robustness by Causal Intervention

Kaihua Tang, Mingyuan Tao외 1명|arXiv (Cornell University)|2021. 06. 17.

Adversarial Robustness in Machine Learning참고 문헌 83인용 수 8

한 줄 요약

이 논문은 시각 피질 샘플링과 공간 보간에 대한 선형 반응을 통해 인과적 특징을 학습하도록 유도함으로써 적대적 방어성능을 향상시키는 인과적 정규화 방법인 Causal Intervention by Instrumental Variable (CiiV)를 제안한다. CiiV는 적대적 훈련 예제가 필요 없이 CIFAR-10, CIFAR-100 및 mini-ImageNet에서 AutoAttack와 같은 적응형 공격에 대해 최신 기술 수준의 방어성을 확보한다.

ABSTRACT

Adversarial training is the de facto most promising defense against adversarial examples. Yet, its passive nature inevitably prevents it from being immune to unknown attackers. To achieve a proactive defense, we need a more fundamental understanding of adversarial examples, beyond the popular bounded threat model. In this paper, we provide a causal viewpoint of adversarial vulnerability: the cause is the spurious correlation ubiquitously existing in learning, i.e., the confounding effect, where attackers are precisely exploiting these effects. Therefore, a fundamental solution for adversarial robustness is by causal intervention. As these visual confounders are imperceptible in general, we propose to use the instrumental variable that achieves causal intervention without the need for confounder observation. We term our robust training method as Causal intervention by instrumental Variable (CiiV). It's a causal regularization that 1) augments the image with multiple retinotopic centers and 2) encourages the model to learn causal features, rather than local confounding patterns, by favoring features linearly responding to spatial interpolations. Extensive experiments on a wide spectrum of attackers and settings applied in CIFAR-10, CIFAR-100, and mini-ImageNet demonstrate that CiiV is robust to adaptive attacks, including the recent AutoAttack. Besides, as a general causal regularization, it can be easily plugged into other methods to further boost the robustness.

연구 동기 및 목표

• 기존 적대적 훈련의 근본적 한계인 수동적이고 알려진 공격자에 대해 과적합되는 문제를 해결하기 위해, 적대적 취약성의 근본 원인을 규명하고자 한다.
• 깊은 신경망이 눈에 띄지 않는 변형에 취약한 반면 인간 시각은 더 높은 생물학적 복잡성을 지닌 상태에서도 그렇지 않은 이유를 탐구하고자 한다.
• 적대적 예외가 모델 결함이 아니라 임의의 상관관계(혼동 효과)에 기인한다는 인과적 설명을 제공하고자 한다.
• 훈련 중에 적대적 예제를 필요로 하지 않는 사전 방어 메커니즘을 개발하여 알려지지 않은 공격자 및 적응형 공격에 대한 방어성을 확보하고자 한다.
• 인수 변수를 통한 인과적 간섭이 다양한 모델과 데이터셋에서 방어성을 향상시키는 일반적인 정규화 방법으로 활용될 수 있음을 입증하고자 한다.

제안 방법

• 시각 피질 샘플링 기반의 인수 변수 프레임워크를 도입하여, 망막 샘플링 위치(R)가 혼동 요인과 독립적인 인수로 작용하도록 한다.
• 여러 개의 시각 피질 샘플링 마스크(N_R)를 적용하여 입력 이미지를 증강함으로써 인간 시각의 비균일한 시각 주의를 모방한다.
• 샘플링 영역 간 공간 보간에 대해 특징이 선형적으로 반응하도록 유도하는 정규화 손실을 도입하여 국소적 혼동 요인에 대한 저항성을 향상시킨다.
• 선형 반응 제약을 통해 적대적 공격에서 악용되는 국소적, 눈에 띄지 않는 혼동 패턴(예: 작은 에지, 텍스처)에 대한 의존도를 억제한다.
• 혼동 요인을 직접 관측할 필요 없이 인과적 간섭 메커니즘을 설계하여, 기준 혼동 요인에 접근할 수 없더라도 방어성을 확보할 수 있도록 한다.
• 기존 모델에 CiiV를 플러그인 정규화로 통합하여 재훈련 없이도 방어성을 향상시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 제한된 위협 모델을 초월한 적대적 취약성의 근본 원인은 무엇이며, 이를 인과적으로 설명할 수 있는가?
• RQ2 깊은 신경망이 쉽게 손상되는 비방어적, 비합리적 특징에 의존하는 이유는 무엇이며, 인간 시각은 이를 피하는가?
• RQ3 인수 변수 기반 인과적 간섭을 사용해 훈련 중에 적대적 예제가 필요 없이 모델을 정규화할 수 있는가?
• RQ4 공간 보간에 대해 선형 반응을 강제하면 적응형 및 미리보지 않은 공격에 대한 일반화 성능이 향상되는가?
• RQ5 CiiV는 다양한 모델과 데이터셋에서 방어성을 향상시키는 일반적인 정규화 방법으로 활용될 수 있는가?

주요 결과

• CiiV는 AutoAttack(l∞) 기준 CIFAR-100에서 23.05%의 방어 정확도를 달성하여 표준 적대적 훈련 기반 모델을 능가하며, 적응형 공격에 대한 강력한 일반화 성능을 보였다.
• CIFAR-10에서 CiiV는 58.88%의 클린 정확도와 FGSM 기준 32.48%의 방어 정확도를 기록하여 클린 성능와 방어 성능 사이의 우수한 트레이드오프를 보였다.
• 제거 실험 결과, 시각 피질 샘플링 마스크 수(N_R)를 늘릴수록 방어성이 향상됨을 확인하였으며, N_R=5일 경우 CIFAR-100에서 총 방어 정확도 37.98%를 달성했다.
• CiiV는 국소적 혼동 요인에 대한 의존도를 크게 감소시켰다: 시각화 결과, CiiV 모델를 속이기 위해선 구조적 패턴을 지워야 함을 보여주어 인과적 특징을 학습하고 있음을 시사한다.
• CiiV는 l∞ 및 l2 변형의 AutoAttack 모두에서 강력한 성능을 유지하였으며, CIFAR-100에서 각각 22.61% 및 54.58%의 총 방어 정확도를 기록하여 다양한 위협 모델에 대한 방어성을 확인했다.
• CiiV는 RetiAug와 같은 다른 방어 방법과도 원활하게 통합되어 방어 성능을 추가로 향상시켰으며, 일반 정규화 기법으로서의 플러그 앤 플레이 잠재력을 입증했다.