[논문 리뷰] Playing it Safe: Adversarial Robustness with an Abstain Option

Cassidy Laidlaw, Soheil Feizi|arXiv (Cornell University)|2019. 11. 25.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 8

한 줄 요약

이 논문은 분류기와 입력 공간 내에서 예측을 회피할 수 있는 영역을 동시에 학습시켜 적대적 로버스트성을 향상시키는 Combined Abstention Robustness Learning (CARL)을 제안한다. CARL은 불확실성 인식 기반의 회피 전략을 통해 기존 방법 대비 MNIST에서 적대적 오차를 50% 이상 감소시키면서 자연적 정확도를 유지함으로써 로버스트성과 추론 효율성을 향상시킨다.

ABSTRACT

We explore adversarial robustness in the setting in which it is acceptable for a classifier to abstain---that is, output no class---on adversarial examples. Adversarial examples are small perturbations of normal inputs to a classifier that cause the classifier to give incorrect output; they present security and safety challenges for machine learning systems. In many safety-critical applications, it is less costly for a classifier to abstain on adversarial examples than to give incorrect output for them. We first introduce a novel objective function for adversarial robustness with an abstain option which characterizes an explicit tradeoff between robustness and accuracy. We then present a simple baseline in which an adversarially-trained classifier abstains on all inputs within a certain distance of the decision boundary, which we theoretically and experimentally evaluate. Finally, we propose Combined Abstention Robustness Learning (CARL), a method for jointly learning a classifier and the region of the input space on which it should abstain. We explore different variations of the PGD and DeepFool adversarial attacks on CARL in the abstain setting. Evaluating against these attacks, we demonstrate that training with CARL results in a more accurate, robust, and efficient classifier than the baseline.

연구 동기 및 목표

• 오류 예측이 위험한 안전 기반 응용 분야에서의 적대적 로버스트성 문제를 해결하기 위해.
• 분류기가 적대적 입력에서 잘못된 예측을 내지 않고 회피할 수 있는 새로운 패러다임을 탐색하기 위해.
• 로버스트성과 효율성을 향상시키기 위해 분류기와 회피 영역을 동시에 최적화하는 공동 학습 프레임워크를 개발하기 위해.
• 회피 행동이 적대적 예외 외의 자연 입력 및 분포 이탈 입력에 대한 모델의 불확실성 지표로 신뢰할 수 있는지 평가하기 위해.

제안 방법

• 자연적 정확도와 적대적 로버스트성 간의 트레이드오���을 명시적으로 모델링하는 새로운 목적 함수를 제안한다.
• PGD와 DeepFool 기반의 새로운 6종의 적대적 공격 변형을 도입하여, 분류기가 잘못된 예측을 하도록 유도하면서도 회피 영역을 피하는 예제를 생성한다.
• 특히 ℓ_abstain 및 ℓ_interp와 같은 서브티튜트 손실 함수를 사용하여 모델이 적대적 입력에서 정확히 예측하거나 회피하도록 학습시킨다.
• 학습 중 공격의 효과를 높이기 위해 PGD 공격에서 단계적 감소하는 크기의 스텝을 사용하여 정확한 영역과 회피 영역 사이의 작은 간극을 효과적으로 탐색한다.
• 결정 경계까지의 거리 계산을 추론 시점에 수행할 필요 없이 단일 신경망을 통해 분류기와 회피 영역을 동시에 학습시킨다.
• 학습 중에 여러 손실 함수에서 무작위로 샘플링하여 다양한 적대적 예제에 대한 일반화 및 로버스트성을 향상시킨다.

실험 결과

연구 질문

• RQ1 분류기가 적대적 입력에서 예측을 회피하도록 허용함으로써 더 강건한 모델을 만들 수 있는가?
• RQ2 자연적 정확도와 적대적 로버스트성 간의 트레이드오프를 명시적으로 모델링하고 최적화할 수 있는가?
• RQ3 분류기와 회피 영역을 공동으로 학습하는 것이 히وري스틱한 회피 전략에 비해 로버스트성과 추론 효율성을 향상시키는가?
• RQ4 CARL를 통해 학습된 회피 행동은 자연 입력 및 분포 이탈 입력에 대한 불확실성 지표로 신뢰할 수 있는가?

주요 결과

• CARL는 기존 방법 대비 MNIST에서 적대적 오차를 50퍼센트 이상 감소시키면서 자연 오차율은 동일하게 유지한다.
• CIFAR-10에서 CARL로 학습된 모델는 기존 방법의 파레토 경계를 초월하여 더 나은 정확도-로버스트성 트레이드오프를 달성한다.
• CIFAR-10에서 CARL 분류기는 자연 입력의 30퍼센트에서 회피를 수행하며, 이로 인해 잘못된 예측 비율은 1.8퍼센트에 그친다. 이는 강력한 불확실성 인식 능력을 시사한다.
• CARL로 학습된 모델는 순수한 노이즈 입력에서도 회피를 수행함으로써 과도한 자신감을 줄이고 분포 이탈에 대한 강건성을 향상시킨다.
• 학습 중에 사용된 서브티튜트 손실 함수의 선택(ℓ_abstain 대비 ℓ_interp)이 최종 오차율에 미치는 영향은 미미하여 손실 함수 선택에 대해 강건함을 시사한다.
• 결정 경계까지의 거리 계산이 필요 없기 때문에 기존 방법과 달리 테스트 시점에서 효율적인 추론을 가능하게 한다.