[논문 리뷰] Confidence-Calibrated Adversarial Training: Generalizing to Unseen Attacks

David Stutz, Matthias Hein외 1명|arXiv (Cornell University)|2019. 10. 14.

Adversarial Robustness in Machine Learning참고 문헌 76인용 수 35

한 줄 요약

CCAT은 적대적 예제에 대한 예측을 낮은 신뢰도로 편향시키고 신뢰도 임계값 설정으로 이를 거부하게 하여 학습 위협 모델을 넘어서 보이지 않는 공격에 대한 강인성을 가능하게 한다.

ABSTRACT

Adversarial training yields robust models against a specific threat model, e.g., $L_\infty$ adversarial examples. Typically robustness does not generalize to previously unseen threat models, e.g., other $L_p$ norms, or larger perturbations. Our confidence-calibrated adversarial training (CCAT) tackles this problem by biasing the model towards low confidence predictions on adversarial examples. By allowing to reject examples with low confidence, robustness generalizes beyond the threat model employed during training. CCAT, trained only on $L_\infty$ adversarial examples, increases robustness against larger $L_\infty$, $L_2$, $L_1$ and $L_0$ attacks, adversarial frames, distal adversarial examples and corrupted examples and yields better clean accuracy compared to adversarial training. For thorough evaluation we developed novel white- and black-box attacks directly attacking CCAT by maximizing confidence. For each threat model, we use $7$ attacks with up to $50$ restarts and $5000$ iterations and report worst-case robust test error, extended to our confidence-thresholded setting, across all attacks.

연구 동기 및 목표

• 단일 위협 모델(L_infinity 등)을 넘어 일반화하는 강건한 분류기 동기를 제시한다.
• 적대적 예제에 대한 과신을 줄여 보이지 않는 공격에 대한 추정으로의 외삽을 가능하게 하는 학습 목표를 개발한다.
• 신뢰도 임계값 설정을 통해 거부 옵션을 가능하게 하여 깨끗한 정확도를 희생하지 않고 강인성을 유지한다.

제안 방법

• CCAT를 도입하여, 목표 레이블로 깨끗한/보이는 구역 내의 적대적 예제에 대한 원-핫 분포와 적대적 예제에 대해 균일 분포의 볼 합성(convex combination)을 학습한다.
• 학습 중에 어떤 비정답 클래스에서도 신뢰도를 최대화하도록 적응적 공격을 사용하여 도전적 적대적 예제를 생성한다( Eq. 4 ).
• perturbation 노름이 커질수록 목표 분포가 더 균일해지도록 delta에 따른 신뢰도 의존 전이 lambda(delta)를 정의한다( Eq. 6 ).
• 학습 ε에 도달하거나 그 이상에서 lambda이 0이 되도록 파워-전이 스킴을 강제하여 학습 볼을 넘어서는 외삽을 장려한다.
• 배치당 깨끗한 샘플과 적대적 샘플의 50/50 혼합으로 학습하되 표준 AT 설정처럼 견고성과 정확도의 균형을 맞춘다.
• 신뢰도 임계값으로 보정된 메트릭으로 강인성을 평가하고 CCAT 프레임워크 내에서 명시적으로 신뢰도를 최대화하는 적응형 화이트/블랙박스 공격을 개발한다.

실험 결과

연구 질문

• RQ1 CCAT를 통한 신뢰도 보정이 학습 중에 나타나지 않은 새로운 적대적 위협에 대한 강인성을 가능하게 하는가?
• RQ2 학습 볼 내 적대적 예제에 대해 낮은 신뢰도를 강제하면 더 큰 섭동, 다른 L_p 노름, 손상된 입력으로의 외삽이 개선되는가?
• RQ3 거부 옵션이 허용될 때 CCAT의 성능은 표준 적대 학습 및 TRADES와 어떻게 비교되는가?
• RQ4 테스트 시 신뢰도 임계값 설정을 적용할 때 깨끗한 정확도를 희생하지 않고도 강인성을 달성할 수 있는가?

주요 결과

• CCAT은 표준 AT에 비해 깨끗한 정확도를 유지하거나 향상시키면서 보이지 않는 공격(다른 L_p 노름, 더 큰 섭동)에 대한 강인성을 향상시킨다.
• CCAT에서 신뢰도 임계값 설정으로 보정된 상태에서 적대적 프레임, 원거리 적대적 예제 및 손상된 입력에 대한 강인성이 확장된다.
• 신뢰도 임계값 설정을 통한 거부 옵션은 낮은 신뢰도의 적대적 입력을 폐기하도록 하여 학습 위협 모델을 넘어서는 강인성에 기여한다.
• 적응적이고 신뢰도 최대화를 목표로 하는 공격을 사용하여 CCAT의 회복력을 평가한다; 예제별 최악 사례 평가에서 CCAT는 여전히 더 어렵게 깨진다.
• MNIST, SVHN, CIFAR-10 및 손상된 변형 전반에 걸친 실험에서 CCAT의 AT, TRADES 및 다중 위협 모델 학습에 비해 이점을 보여준다.