[논문 리뷰] Explicit Tradeoffs between Adversarial and Natural Distributional Robustness

Mazda Moayeri, Kiarash Banihashem외 1명|arXiv (Cornell University)|2022. 09. 15.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 딥 네ural 네트워크에서 적대적 로버스트니와 자연 분포 로버스트니 사이의 명시적 트레이드오프를 입증하며, 특히 ℓ₂ 및 ℓ₁ 노름 기반의 적대적 훈련이 배경과 같은 허수적 특징에 더 의존하게 하여 분포 이동에 대한 로버스트니를 떨어뜨린다고 보여준다. 다섯 가지 벤치마크에서 20개의 모델을 대상으로 한 실증적 검증을 통해, 적대적 훈련을 거친 모델이 허수적 상관관계에 더 민감하게 되어 테스트 도메인에서 이러한 상관관계가 깨질 경우 일반화 능력이 떨어짐을 확인하였다.

ABSTRACT

Several existing works study either adversarial or natural distributional robustness of deep neural networks separately. In practice, however, models need to enjoy both types of robustness to ensure reliability. In this work, we bridge this gap and show that in fact, explicit tradeoffs exist between adversarial and natural distributional robustness. We first consider a simple linear regression setting on Gaussian data with disjoint sets of core and spurious features. In this setting, through theoretical and empirical analysis, we show that (i) adversarial training with $\ell_1$ and $\ell_2$ norms increases the model reliance on spurious features; (ii) For $\ell_\infty$ adversarial training, spurious reliance only occurs when the scale of the spurious features is larger than that of the core features; (iii) adversarial training can have an unintended consequence in reducing distributional robustness, specifically when spurious correlations are changed in the new test domain. Next, we present extensive empirical evidence, using a test suite of twenty adversarially trained models evaluated on five benchmark datasets (ObjectNet, RIVAL10, Salient ImageNet-1M, ImageNet-9, Waterbirds), that adversarially trained classifiers rely on backgrounds more than their standardly trained counterparts, validating our theoretical results. We also show that spurious correlations in training data (when preserved in the test domain) can improve adversarial robustness, revealing that previous claims that adversarial vulnerability is rooted in spurious correlations are incomplete.

연구 동기 및 목표

• 신뢰할 수 있는 모델 배포를 위해 필수적인 두 요소인 적대적 로버스트니와 분포 로버스트니 간의 상호작용을 조사하기 위해.
• 허수적 특징 의존이 적대적 취약성의 근본 원인이라는 일반적인 가정을 도전하기 위해, 적대적 훈련이 실제로 이러한 의존도를 증가시킬 수 있음을 보여주기 위해.
• 다양한 적대적 훈련 노름(ℓ₁, ℓ₂, ℓ∞)이 허수적 특징에 대한 모델 의존도에 미치는 영향에 대한 이론적 발견을 실증적으로 검증하기 위해.
• 반직관적으로도 특정 조건 하에서는 허수적 상관관계가 적대적 로버스트니를 향상시킬 수 있는지 조사하기 위해.

제안 방법

• 가우시안 데이터 하에서 분리된 핵심 특징과 허수적 특징을 가진 선형 회귀 모델의 이론적 분석을 통해, 적대적 훈련이 허수적 특징에 대한 의존도를 증가시키는 조건를 유도한다.
• ℓ∞ 적대적 훈련이 허수적 특징 의존도를 증가시키는 조건를 유도한다 — 특히 허수적 특징의 규모가 핵심 특징의 규모를 초월할 경우에 해당한다.
• ObjectNet, RIVAL10, Salient ImageNet-1M, ImageNet-9, Waterbirds 다섯 가지 벤치마크에서 ℓ₂ 및 ℓ∞ 프로젝션 기반 경사 하강법를 사용한 20개의 적대적 훈련 모델에 대한 실증적 평가를 수행한다.
• 테스트 도메인에서 허수적 배경 상관관계가 깨졌을 때의 성능 저하를 측정하기 위해 Background Gap 메트릭을 사용한다 (예: Mixed-Same 대비 Mixed-Rand 분할).
• Waterbirds 벤치마크에서 성능을 평가하여, 허수적 상관관계가 유지된 다수 그룹과 깨진 소수 그룹 간의 정확도를 비교함으로써 허수적 상관관계 민감도를 측정한다.
• 공통된 색채널 허수적 특징을 삽입하여 CIFAR-10에서 제어 실험을 수행하여, 더 강한 허수적 상관관계가 공격 상황에서 적대적 로버스트니를 향상시키는지 테스트한다.

실험 결과

연구 질문

• RQ1 ℓ₁, ℓ₂, ℓ∞ 노름 기반의 적대적 훈련이 모델의 허수적 특징에 대한 의존도를 증가시키는가? 만약 그렇다면 어떤 조건에서인가?
• RQ2 허수적 상관관계가 테스트 도메인에서 깨졌을 때, 적대적 훈련으로 인해 증가한 허수적 특징 의존도가 분포 로버스트니에 얼마나 큰 영향을 미치는가?
• RQ3 훈련 데이터에 허수적 상관관계가 존재할 경우 실제로 적대적 로버스트니를 향상시킬 수 있는가? 만약 그렇다면 어떤 조건에서인가?
• RQ4 ℓ₂와 ℓ∞ 노름 기반의 적대적 훈련이 허수적 특징 의존도와 분포 이동 상황에서의 일반화에 미치는 영향을 비교하면 어떻게 되는가?

주요 결과

• ℓ₂ 및 ℓ₁ 노름 기반의 적대적 훈련은 공격자가 훨씬 더 많은 특징에 걸쳐 노이즈 예산을 분산시켜야 하므로, 허수적 특징이 더 영향력 있게 되어 모델이 허수적 특징에 더 의존하게 된다.
• ℓ∞ 적대적 훈련의 경우, 허수적 특징의 규모가 핵심 특징의 규모를 초월할 때만 허수적 특징 의존도가 증가한다 — 이는 공격자가 강력한 허수적 상관관계를 손상시킬 수 없기 때문이다.
• RIVAL10과 Salient ImageNet-1M에서 적대적 훈련을 거친 모델은 배경 갭이 크게 나타나, 허수적 배경 상관관계가 깨졌을 때 분포 로버스트니가 떨어지는 것으로 나타났다 — 특히 ℓ₂ 훈련 모델에서 두드러졌다.
• Waterbirds 벤치마크에서 ℓ₂ 적대적 훈련 모델의 100%와 ℓ∞ 적대적 훈련 모델의 60%가 표준 기반 모델보다 다수 그룹과 소수 그룹 간 성능 격차가 더 크게 나타나, 허수적 특징 의존도가 증가했음을 확인하였다.
• ℓ₂ 적대적 훈련을 거친 ResNet50 모델(ε=5)의 정확도 상대적 감소율은 18.9%였고, 표준 훈련 모델의 9.7%보다 뚜렷하게 높아, 분포 로버스트니가 크게 악화됨을 보여주었다.
• 제어된 CIFAR-10 실험에서 더 강한 상관관계(높은 ρ)를 가진 색채널 허수적 특징을 삽입한 결과, 적대적 로버스트니가 향상되었으며, 이로 인해 강건성 정확도 격차가 기준선 대비 최대 4배까지 증가하였다. 이는 허수적 특징이 일반화를 해칠 뿐 아니라 오히려 강건성을 향상시킬 수 있음을 보여준다.