[논문 리뷰] Robustness Quantification and Uncertainty Quantification: Comparing Two Methods for Assessing the Reliability of Classifier Predictions

Adrián Detavernier, Jasper De Bock|arXiv (Cornell University)|2026. 03. 24.

Adversarial Robustness in Machine Learning인용 수 0

한 줄 요약

논문은 NBC와 GeFs에서 항목별 예측 신뢰도에 대해 Robustness Quantification (RQ)와 Uncertainty Quantification (UQ)를 비교하고, RQ가 분포 변화(distribution shift) 하에서 특히 경쟁력이 있거나 우수한 경우가 많으며, 두 방법의 결합이 신뢰도 평가를 개선할 수 있음을 보인다.

ABSTRACT

We consider two approaches for assessing the reliability of the individual predictions of a classifier: Robustness Quantification (RQ) and Uncertainty Quantification (UQ). We explain the conceptual differences between the two approaches, compare both approaches on a number of benchmark datasets and show that RQ is capable of outperforming UQ, both in a standard setting and in the presence of distribution shift. Beside showing that RQ can be competitive with UQ, we also demonstrate the complementarity of RQ and UQ by showing that a combination of both approaches can lead to even better reliability assessments.

연구 동기 및 목표

• 두 가지 접근법으로 분류기 출력의 항목별 신뢰도 평가: Uncertainty Quantification (UQ)와 Robustness Quantification (RQ)를 사용하여.
• 나이브 베이즈(Naive Bayes)와 Generative Forests를 이용한 실제 데이터셋에서 두 접근법을 벤치마크하여 신뢰도 척도를 평가한다.
• UQ와 RQ의 보완성을 제안하고 평가하는 하이브리드 신뢰도 순서를 제시한다.
• 분포 변화(distribution shift)와 제한된 데이터가 UQ와 RQ의 상대적 성능에 미치는 영향을 탐색한다.

제안 방법

• 확률적 생성 모델 분류기에 대한 불확실성 척도 formalize, u_max, u_conf, u_H 포함, 그리고 앙상블 기반의 u_t, u_a, u_e를 포함한다.
• NBC와 GeFs에 대해 로컬(지역) 강건성 r_loc 및 글로벌 r_glob(ε-오염)을 정의한다.
• 정확도 거부 곡선(ARC)을 통해 신뢰도를 평가하고 AU-ARC를 요약 지표로 보고한다.
• 특징이 이산적인 UCI 데이터셋을 사용하고, 학습/테스트 분할은 (60/40, 최대 3000 인스턴스), 모델별 학습 설정을 사용한다.
• 감소된 학습 데이터와 분포 이동을 통해 더 높은 에피스템릭 불확실성을 갖는 표준 설정과 시나리오를 비교한다.
• 하이브리드 순서 h_i = γ n_u,i + (1−γ) n_r,i를 제안하고 학습 세트에서 γ를 최적화하여 UQ와 RQ를 결합한다.

실험 결과

연구 질문

• RQ1 NBC와 GeFs에 걸친 개별 예측에 대해 불확실성 기반 신뢰도 척도가 강건성 기반 척도와 어떻게 비교되는가?
• RQ2 분포 변화나 제한된 학습 데이터에서 로컬 강건성 척도가 글로벌 강건성과 특정 UQ 척도보다 더 효과적인가?
• RQ3 불확실성과 강건성을 결합한 하이브리드 접근이 인스턴스의 더 우수한 신뢰도 순서를 산출할 수 있는가?
• RQ4 데이터셋 특성이 UQ 대 RQ 및 이들의 결합의 상대적 가치를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 로컬 강건성(특히 r_loc)은 표준 설정에서 불확실성 척도보다 종종 더 우수하며 에피스테믹 불확실성하에서 더 유리해진다.
• 글로벌 강건성(r_glob)은 연구된 시나리오에서 일반적으로 로컬 강건성과 여러 UQ 척도에 비해 경쟁력이 낮다.
• 가중 하이브리드 순서를 통한 불확실성 및 강건성의 결합은 데이터셋 전반에 걸쳐 더 나은 신뢰도 평가를 자주 산출한다.
• 최적 융합 가중치 γ*는 데이터셋과 모델 유형에 따라 다르며, 작업별로 불확실성과 강건성의 상대적 중요도에 대한 통찰을 제공한다.
• 하이브리드 접근법은 순서 정확도(AU-ARC)를 향상시킬 뿐만 아니라 데이터셋 특성에 따른 신뢰성 요인에 대한 해석 가능성을 제공한다.