[논문 리뷰] Evaluating Robustness of Predictive Uncertainty Estimation: Are Dirichlet-based Models Reliable?

Anna-Kathrin Kopetzki, Bertrand Charpentier외 3명|arXiv (Cornell University)|2020. 10. 28.

Statistical Methods and Inference인용 수 10

한 줄 요약

이 논문은 딥러닝에서 빠르고 고품질의 불확실성 추정을 위해 최근 제안된 디리클레 기반 불확실성(DBU) 모델의 적대적 공격에 대한 내성에 대해 평가한다. 그들의 잠재력에도 불구하고, 이 연구는 DBU 모델이 잘못 분류된 샘플을 신뢰성 있게 나타내거나, 적대적 예제를 탐지하거나, 분포 내 및 분포 외 데이터를 구분하지 못함을 드러낸다. 새로운 중앙값 스무딩 기법이 내성에 크게 기여하며, 적대적 훈련을 능가한다.

ABSTRACT

Dirichlet-based uncertainty (DBU) models are a recent and promising class of uncertainty-aware models. DBU models predict the parameters of a Dirichlet distribution to provide fast, high-quality uncertainty estimates alongside with class predictions. In this work, we present the first large-scale, in-depth study of the robustness of DBU models under adversarial attacks. Our results suggest that uncertainty estimates of DBU models are not robust w.r.t. three important tasks: (1) indicating correctly and wrongly classified samples; (2) detecting adversarial examples; and (3) distinguishing between in-distribution (ID) and out-of-distribution (OOD) data. Additionally, we explore the first approaches to make DBU models more robust. While adversarial training has a minor effect, our median smoothing based approach significantly increases robustness of DBU models.

연구 동기 및 목표

• 적대적 공격 하에서 핵심 불확실성 추정 작업 전반에 걸쳐 디리클레 기반 불확실성(DBU) 모델의 내성을 평가하는 것.
• DBU 모델이 잘못 분류된 샘플을 신뢰성 있게 식별하고, 적대적 예제를 탐지하며, 분포 내 및 분포 외 데이터를 구분할 수 있는지 조사하는 것.
• DBU 모델의 적대적 편향에 대한 내성을 향상시키기 위한 방법을 탐색하는 것.
• DBU 모델의 내성을 향상시키는 데 있어 적대적 훈련과 중앙값 스무딩의 효과를 비교하는 것.

제안 방법

• 저자는 다양한 적대적 공격 설정 하에서 표준 벤치마크에서 DBU 모델을 대규모 실험적으로 평가한다.
• 세 가지 핵심 평가 작업을 사용한다: 잘못 분류된 샘플 식별, 적대적 예제 탐지, 분포 내 및 분포 외 입력 식별.
• 제안된 중앙값 스무딩 방법은 디리클레 모수 예측 이전에 모델의 로짓에 공간 필터링을 적용하여 내성을 향상시킨다.
• 비교를 위해 기준 내성 기법으로 적대적 훈련을 적용한다.
• 정확도, 불확실성 校정, 여러 데이터셋과 공격 유형에 따른 탐지율을 측정한다.
• ID-공격 성공률 및 불확실성 기반 탐지 성능 등의 지표를 사용해 모델을 평가한다.

실험 결과

연구 질문

• RQ1 적대적 편향 하에서 디리클레 기반 불확실성 모델이 샘플이 올바르게 또는 잘못 분류되었는지 신뢰성 있게 나타낼 수 있는가?
• RQ2 표준 모델과 비교해 DBU 모델이 적대적 예제를 얼마나 잘 탐지할 수 있는가?
• RQ3 공격 하에서 DBU 모델은 분포 내 및 분포 외 샘플을 얼마나 잘 구분하는가?
• RQ4 적대적 훈련은 DBU 모델의 불확실성 추정 작업에서 내성을 향상시키는 데 효과적인가?
• RQ5 중앙값 스무딩은 DBU 모델의 내성을 향상시키는 데 있어 적대적 훈련보다 더 효과적인 방법인가?

주요 결과

• DBU 모델은 잘못 분류된 샘플을 신뢰성 있게 나타내지 못하며, 적대적 공격 하에서 탐지율이 크게 감소한다.
• ID-공격 설정 하에서 표준 DBU 모델은 적대적 예제 탐지율이 30.7%에 불과하여 낮은 내성을 보인다.
• 중앙값 스무딩은 적대적 탐지 성능을 향상시켜 공격 유형 평균으로 70.5%의 탐지율로 증가시킨다.
• 스무딩된 변종인 PriorNet은 청소된 데이터에서 99.8%의 정확도와 99.8%의 불확실성 校정을 달성하여 스무딩되지 않은 모델을 능가한다.
• 적대적 훈련은 내성 향상에 있어 미미한 개선만을 제공하여 DBU 모델에 대해 제한된 효과를 가짐을 시사한다.
• 이 연구는 DBU 모델의 불확실성 추정이 적대적 편향에 매우 민감하여 안전 중심 응용 분야에서의 신뢰성을 약화시킴을 입증한다.