[논문 리뷰] Confidence-Calibrated Adversarial Training and Detection: More Robust Models Generalizing Beyond the Attack Used During Training

David Stutz, Matthias Hein외 1명|arXiv (Cornell University)|2019. 10. 14.

Adversarial Robustness in Machine Learning인용 수 3

한 줄 요약

이 논문은 예측 신뢰도가 적대적 예제와의 거리에 따라 감소하도록 보정하여 효과적인 탐지가 가능한 신뢰도 임계값 기반 탐지 기법을 도입함으로써 모델의 강건성을 향상시키는 Confidence-Calibrated Adversarial Training (CCAT)을 제안한다. 표준 적대적 훈련과 달리 CCAT는 훈련 중에 볼 수 없었던 더 강력한 공격 및 다양한 위협 모델로의 일반화 능력을 유지하면서도 자연적 정확도를 높게 유지하며, 훈련 공격을 초월한 뛰어난 일반화 성능을 달성한다.

ABSTRACT

Adversarial training is the standard to train models robust against adversarial examples. However, especially for complex datasets, adversarial training incurs a significant loss in accuracy and is known to generalize poorly to stronger attacks, e.g., larger perturbations or other threat models. In this paper, we introduce confidence-calibrated adversarial training (CCAT) where the key idea is to enforce that the confidence on adversarial examples decays with their distance to the attacked examples. We show that CCAT preserves better the accuracy of normal training while robustness against adversarial examples is achieved via confidence thresholding, i.e., detecting adversarial examples based on their confidence. Most importantly, in strong contrast to adversarial training, the robustness of CCAT generalizes to larger perturbations and other threat models, not encountered during training. For evaluation, we extend the commonly used robust test error to our detection setting, present an adaptive attack with backtracking and allow the attacker to select, per test example, the worst-case adversarial example from multiple black- and white-box attacks. We present experimental results using $L_\\infty$, $L_2$, $L_1$ and $L_0$ attacks on MNIST, SVHN and Cifar10.

연구 동기 및 목표

• 훈련 중에 볼 수 없었던 더 강력하거나 새로운 공격(예: 더 큰 변형 또는 다른 위협 모델)에 대한 적대적 훈련의 낮은 일반화 성능을 해결하기 위해.
• 표준 적대적 훈련에서 흔히 발생하는 정확도 저하를 피하면서도 강건한 훈련 동안 높은 자연적 정확도를 유지하기 위해.
• 각각의 새로운 공격 유형에 대해 재훈련이 필요 없이도, 적대적 예제를 식별할 수 있는 신뢰도 감쇠 기반의 탐지 메커니즘을 개발하기 위해.
• 다양한 블랙박스 및 화이트박스 전략을 조합한 적응형, 예제별 공격에 대한 강건성을 평가하기 위해.
• 적응형 위협 환경에서 실제 적용 가능한 상황에서의 탐지 성능까지 포함하는, 표준 강건 테스트 오차 메트릭을 확장하기 위해.

제안 방법

• 모델의 예측 신뢰도가 정상 입력으로부터의 적대적 예제 거리에 따라 단조롭게 감소하도록 보정하는 방법을 도입한다.
• 특히 원본 입력에서 더 멀리 떨어진 예제에 대해 높은 신뢰도를 갖는 것을 방지하는 손실 함수를 사용하여 적대적 예제로 모델을 훈련한다.
• 추론 시에 신뢰도 임계값 기반 탐지 적용: 모델의 신뢰도가 학습된 임계값 이하로 떨어지면 입력을 적대적 예제로 분류한다.
• 다중 단계의 적응형 공격을 사용하며, 백트래킹을 통해 각 테스트 입력에 대해 여러 공격 유형(블랙박스 및 화이트박스) 중에서 가장 악성인 적대적 예제를 선택한다.
• 표준 강건 테스트 오차를 확장하여, 적응형 공격 하에서의 탐지 성능까지 포함시키며, 오분류율과 거짓 경고율을 모두 측정한다.
• MNIST, SVHN, CIFAR-10 데이터셋에서 $L_\infty$, $L_2$, $L_1$, $L_0$ 변형에 대해 평가한다.

실험 결과

연구 질문

• RQ1 신뢰도 보정이 훈련 중에 볼 수 없었던 더 강력한 공격에 대해 강건 모델의 일반화 성능을 향상시키는 데 기여하는가?
• RQ2 신뢰도 임계값 기반 탐지 기법이 자연적 정확도를 손상시키지 않고도 적대적 예제를 효과적으로 탐지할 수 있는가?
• RQ3 다양한 공격 전략을 조합하고 각 입력에 대해 가장 악성인 예제를 선택하는 적응형 공격 하에서 CCAT는 어떻게 성능을 발휘하는가?
• RQ4 표준 적대적 훈련에 비해 CCAT는 자연적 정확도를 얼마나 잘 유지하는가?
• RQ5 신뢰도 감쇠 메커니즘이 $L_1$, $L_0$, $L_2$ 공격을 포함한 다양한 위협 모델 전반에서 더 나은 강건성을 달성하는가?

주요 결과

• CCAT는 MNIST, SVHN, CIFAR-10에서 표준 적대적 훈련보다 높은 자연적 정확도를 확보하였으며, 정상 데이터에 대한 성능 저하가 최소화되었다.
• 훈련 중에 사용되지 않은 더 큰 $L_\infty$ 변형 및 다른 위협 모델($L_2$, $L_1$, $L_0$)에 대해서도 강건성이 효과적으로 일반화되었다.
• 신뢰도 임계값 기반 탐지 기법은 적응형 공격 조건에서도 높은 탐지 성능을 기록하였으며, 다양한 공격 유형을 조합한 상황에서도 효과적으로 작동하였다.
• 특히 가장 악성인 적대적 예제의 성공률을 낮추는 데 있어, CCAT는 표준 적대적 훈련보다 강건성 면에서 뛰어난 성능을 보였다.
• 다양한 데이터셋과 변형 유형 전반에서 우수한 성능를 유지하며, 광범위한 일반화 능력을 입증하였다.
• 신뢰도 감쇠 메커니즘이 적대적 거리와 강하게 상관관계를 보이며, CCAT의 핵심 설계 원리가 검증되었다.