[논문 리뷰] Fighting Gradients with Gradients: Dynamic Defenses against Adversarial Attacks

Dequan Wang, An Ju외 3명|arXiv (Cornell University)|2021. 05. 18.

Adversarial Robustness in Machine Learning참고 문헌 64인용 수 8

한 줄 요약

이 논문은 방어 엔트로피 최소화를 통해 테스트 시점에 모델과 입력을 동적으로 적응시키는 dent라는 동적 방어 기법을 소개한다. 기울기와 배치 통계를 활용하여, 적대적 공격에 대응하기 위해 모델의 강건성을 향상시킨다. 이는 적대적 훈련 및 일반 훈련된 모델 모두에 효과를 보이며, CIFAR-10에서 ϵ∞=8/255일 때 AutoAttack 기준으로 최신 기술을 20점 이상 향상시킨다.

ABSTRACT

Adversarial attacks optimize against models to defeat defenses. Existing defenses are static, and stay the same once trained, even while attacks change. We argue that models should fight back, and optimize their defenses against attacks at test time. We propose dynamic defenses, to adapt the model and input during testing, by defensive entropy minimization (dent). Dent alters testing, but not training, for compatibility with existing models and train-time defenses. Dent improves the robustness of adversarially-trained defenses and nominally-trained models against white-box, black-box, and adaptive attacks on CIFAR-10/100 and ImageNet. In particular, dent boosts state-of-the-art defenses by 20+ points absolute against AutoAttack on CIFAR-10 at $ε_\infty$ = 8/255.

연구 동기 및 목표

• 진행 중인 적대적 공격의 변화에 대응할 수 없도록 정적 방어 기법이 테스트 시점에 그대로 유지되는 한계를 해결한다.
• 반복적이고 기울기 기반 공격에 취약한 기존 방어 기법을 보완하기 위해 추론 중 실시간 적응을 가능하게 한다.
• 재훈련이 필요 없이 기존 모델과 훈련 절차와 호환되는 테스트 시점 적응 방법을 개발한다.
• 화이트박스, 블랙박스, 적응형 공격을 포함한 다양한 공격 유형에 대해 강건성을 향상시키면서 자연 데이터에서의 성능 저하를 최소화한다.
• 테스트 시점의 동적 적응이 적대적 무기 경쟁에서 '마지막 수'로서의 전략적 이점을 제공함을 입증한다.

제안 방법

• 모델의 확신도를 극대화하고 불확실성을 감소시키기 위해 테스트 시점 최적화 목표로 방어 엔트로피 최소화(dent)를 제안한다.
• 테스트 시점 적응 기법을 영감으로 삼아, 기울기와 배치 통계를 활용해 추론 중 모델 파라미터와 입력 데이터를 모두 적응시킨다.
• 테스트 중에 모델과 입력을 반복적으로 업데이트하여, 각각의 적대적 예시가 다른 방어 구성으로 대응하도록 보장한다.
• 테스트 시점에 업데이트된 배치 정규화 통계를 사용하여 동적 적응을 가능하게 하며, 제거 분석을 통해 배치 크기에 민감함을 확인한다.
• 훈련 중에는 업데이트를 적용하지 않고 추론 시에만 적용함으로써 사전 훈련된 모델과 기존 방어 기법과의 호환성을 유지한다.
• 입력에서 유도된 기울기 정보를 활용해 방어 업데이트를 이끌어내어, 적대적 기울기를 방어적 기울기로 대응한다.

실험 결과

연구 질문

• RQ1 테스트 시점 적응이 정적 방어 기법을 우회하는 적응형 기울기 기반 적대적 공격에 대해 강건성을 향상시킬 수 있는가?
• RQ2 추론 중에 모델과 입력을 모두 동적으로 적응시키는 것이 적대적 군비 경쟁에서 정적 방어 기법에 비해 전략적 이점을 제공하는가?
• RQ3 CIFAR-10 및 ImageNet과 같은 표준 벤치마크에서 dent가 화이트박스, 블랙박스, 적응형 공격을 포함한 다양한 공격 유형에 대해 어떻게 성능을 내는가?
• RQ4 배치 크기와 파rameter화가 동적 방어의 강건성과 안정성에 어떤 영향을 미치는가?
• RQ5 retraining 없이 dent를 적대적 훈련된 모델과 일반 모델 모두에 적용할 수 있으며, 자연 정확도에 어떤 영향을 미치는가?

주요 결과

• CIFAR-10에서 ϵ∞=8/255일 때 AutoAttack 기준으로 최신 기술 방어 기법의 강건성을 20점 이상 절대적으로 향상시켰다.
• CIFAR-10에서 dent는 기존 최고 수준의 방어 기법의 강건 정확도를 AutoAttack에 대해 57.3%로 향상시켰으며, AutoAttack 랭킹에서 15점 이상의 우위를 확보했다.
• 훈련 시점의 배치 통계를 사용할 경우 작은 배치 크기에서도 높은 자연 정확도(86.6%)를 유지하여 추론 시 배치 크기에 대한 강건성을 입증했다.
• 테스트 시점의 배치 통계를 사용할 경우 배치 크기가 10 미만일 경우 성능이 크게 떨어지며, 적응 과정에서 배치 통계에 민감함을 확인했다.
• 제거 분석 결과 dent의 성능는 적응 반복 수와 모델 파rameter화에 민감하며, 중간 설정에서 최적의 성능를 달성함을 확인했다.
• CIFAR-10과 ImageNet 모두에서 화이트박스, 블랙박스, 적응형 공격에 대해 기존 방어 기법을 능가하며 광범위한 강건성을 입증했다.