[논문 리뷰] Robust Models are less Over-Confident

Julia Grabinski, Paul Gavrikov외 2명|arXiv (Cornell University)|2022. 10. 12.

Adversarial Robustness in Machine Learning인용 수 6

한 줄 요약

이 논문은 적대적 훈련(강건성)된 모델이 청소년 데이터조차도 비강건 모델보다 예측 신뢰도가 현저히 낮고 校정(캘리브레이션)이 향상됨을 보여준다. 핵심 발견은 강건성 훈련이 과신을 자연스럽게 감소시킨다는 것이며, 고도화된 활성화 함수나 다운샘플링 레이어와 같은 향상된 네트워크 구성 요소들이 보다 나은 校정을 가능하게 하여 강건 모델이 실세계 적용에 더 신뢰할 만하게 만든다.

ABSTRACT

Despite the success of convolutional neural networks (CNNs) in many academic benchmarks for computer vision tasks, their application in the real-world is still facing fundamental challenges. One of these open problems is the inherent lack of robustness, unveiled by the striking effectiveness of adversarial attacks. Current attack methods are able to manipulate the network's prediction by adding specific but small amounts of noise to the input. In turn, adversarial training (AT) aims to achieve robustness against such attacks and ideally a better model generalization ability by including adversarial samples in the trainingset. However, an in-depth analysis of the resulting robust models beyond adversarial robustness is still pending. In this paper, we empirically analyze a variety of adversarially trained models that achieve high robust accuracies when facing state-of-the-art attacks and we show that AT has an interesting side-effect: it leads to models that are significantly less overconfident with their decisions, even on clean data than non-robust models. Further, our analysis of robust models shows that not only AT but also the model's building blocks (like activation functions and pooling) have a strong influence on the models' prediction confidences. Data & Project website: https://github.com/GeJulia/robustness_confidences_evaluation

연구 동기 및 목표

• 적대적 강건성과 모델 校정, 특히 예측 신뢰도 간의 관계를 조사하기 위해.
• 강건 모델이 청소년 및 적대적 입력에서 예측을 더 과신하지 않는지 분석하기 위해.
• 활성화 함수 및 다운샘플링 레이크 같은 아키텍처 구성 요소들이 예측 신뢰도와 校정에 미치는 영향을 평가하기 위해.
• 강건 모델의 예측 신뢰도가 잘못된 예측을 나타내는 지표로 신뢰할 수 있는지 탐색하기 위해.
• 강건성과 校정을 통합적으로 분석하고, 향후 연구에서 양자 모두를 함께 고려할 것을 주장하기 위해.

제안 방법

• CIFAR-10, CIFAR-100, ImageNet에서 표준 및 적대적 훈련을 사용해 71개의 강건 및 비강건 모델 쌍을 훈련시켰다.
• 정확한 및 잘못된 예측에 대해 청소년 및 적대적 예제에서 소프트맥스 확률을 사용해 출력 신뢰도 분포를 측정했다.
• 특히 향상된 활성화 함수(예: SiLU) 및 다운샘플링 레이어와 같은 아키텍처 구성 요소들이 신뢰도 校정에 미치는 영향을 평가했다.
• 신뢰도 임계값을 사용해 잘못된 예측을 탐지하고, 신뢰도가 모델 불확실성의 대체 지표로서 신뢰할 수 있는지 평가했다.
• 훈련 중에 볼 수 있었던 특정 변형에 대해 일반화 성능을 기존 공격과 새로운 공격에 대해 비교해 특정 변형에 대한 과적합 여부를 평가했다.
• 재현성 및 향후 연구를 지원하기 위해 포괄적인 모델 자료집과 평가 코드를 공개했다.

실험 결과

연구 질문

• RQ1 적대적 훈련된 모델은 청소년 데이터에서 비강건 모델보다 예측에 대해 더 낮은 과신을 보이는가?
• RQ2 활성화 함수 및 다운샘플링 레이어와 같은 아키텍처 구성 요소들이 강건 모델의 신뢰도 校정에 어떤 영향을 미치는가?
• RQ3 강건 모델에서의 예측 신뢰도는 잘못된 예측을 신뢰성 있게 나타낼 수 있는가?
• RQ4 강건 모델은 훈련 중에 볼 수 있었던 특정 적대적 공격에 대해 일반화가 잘 되는가, 아니면 특정 변형에 과적합하는가?
• RQ5 적대적 훈련이 단지 강건성 외에도 모델의 校정을 얼마나 자연스럽게 향상시키는가?

주요 결과

• 비강건 모델은 잘못된 예측에서 현저히 과신하며, 적대적 예제에서 평균 신뢰도가 95%를 초과한다.
• 강건 모델은 청소년 및 적대적 입력 모두에서 신뢰도가 현저히 낮게 나타나며, 잘못된 예측에서의 평균 신뢰도가 약 50–60%로 떨어져 더 나은 校정을 나타낸다.
• SiLU 활성화 함수 및 특수 다운샘플링 레이어와 같은 향상된 아키텍처 구성 요소를 포함한 모델들은 더 나은 신뢰도 校정을 보이며, 잘못된 예측에서의 과신을 줄였다.
• 강건 모델에서의 예측 신뢰도는 잘못된 예측을 효과적으로 탐지할 수 있으며, 고신뢰도 출력은 정확한 분류와 강하게 상관된다.
• 비록 校정이 향상되었음에도 불구하고, 강건 모델은 훈련 중에 사용된 특정 적대적 공격에 대해 여전히 과적합을 보이며, 비강건 모델과 마찬가지로 새로운 공격에 대해 유사한 성능 저하를 보였다.
• 분석 결과, 적대적 훈련이 강건성 외에도 모델의 불확실성 추정이 더 신뢰할 수 있도록 하는 유익한 부작용을 유도한다는 것이 확인되었다.