[논문 리뷰] To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise

Nouran Khallaf, Serge Sharoff|arXiv (Cornell University)|2026. 03. 07.

Text Readability and Simplification인용 수 0

한 줄 요약

본 연구는 소음과 도메인 시프트 하에서 다국어 텍스트 분류를 위한 아홉 가지 불확실성 추정 방법을 벤치마킹하고, MC-드롭아웃 기반 접근이 일반적으로 소프트맥스 기반 방법보다 더 강건한 보정 및 선택적 예측을 제공하며, 특히 저자원 및 도메인 밖 설정에서 그러한 경향이 두드러진다고 밝혔다.

ABSTRACT

This study examines the role of uncertainty estimation (UE) methods in multilingual text classification under noisy and non-topical conditions. Using a complex-vs-simple sentence classification task across several languages, we evaluate a range of UE techniques against a range of metrics to assess their contribution to making more robust predictions. Results indicate that while methods relying on softmax outputs remain competitive in high-resource in-domain settings, their reliability declines in low-resource or domain-shift scenarios. In contrast, Monte Carlo dropout approaches demonstrate consistently strong performance across all languages, offering more robust calibration, stable decision thresholds, and greater discriminative power even under adverse conditions. We further demonstrate the positive impact of UE on non-topical classification: abstaining from predicting the 10\% most uncertain instances increases the macro F1 score from 0.81 to 0.85 in the Readme task. By integrating UE with trustworthiness metrics, this study provides actionable insights for developing more reliable NLP systems in real-world multilingual environments. See https://github.com/Nouran-Khallaf/To-Predict-or-Not-to-Predict

연구 동기 및 목표

• 노이즈와 도메인 시프트 하에서 다국어 문장 난이도 분류의 강건성에 대한 불확실성 추정(UE) 방법의 영향을 평가한다.
• 여러 언어와 데이터세트에 걸친 다양한 UE 기법을 비교한다.
• 구분도, 보정, 선택적 예측을 이해하기 위해 다수의 UE 평가 지표를 분석한다.
• 실제 다국어 NLP 시스템에서 UE를 적용하는 실행 가능한 지침을 제공한다.

제안 방법

• Readme 데이터를 이진 Simple/Complex 작업으로 번역한 다국어 mBERT 분류기를 5-fold 교차 검증으로 학습한다.
• 여러 언어와 데이터세트에 걸친 다양한 UE 기법을 비교한다(확률적, 기하학적 및 하이브리드 접근법(SR, SMP, ENT, ENT-MC, PV, BALD, MD, LOF, ISOF, HUQ-MD, LOF, ISOF)).
• MC-드롭아웃(T=20)을 사용하여 SMP, ENT_MC, PV, BALD 변형을 도출하고, 다중 확률적 순전파로 관련 불확실성 점수를 계산한다.
• UE 품질을 세 가지 메트릭 관점으로 평가한다: 불확실성 구분력(ROC-AUC, AU-PRC), 보정(C-Slope, CITL, ECE), 선택적 예측(RC-AUC, N.RC-AUC, E-AUoptRC, TI).
• Readme 외에 Vikidia/Wikipedia 및 Simplext에서도 테스트하여 도메인/언어 시프트를 분석하고, 도메인 시프트에 따른 강건성과 거절(기권) 이득을 보고한다.

실험 결과

연구 질문

• RQ1 노이즈 및 비주제적 조건에서 다국어 문장 난이도 분류에서 서로 다른 불확실성 추정 방법은 어떤 성능을 보이는가?
• RQ2 어떤 UE 방법이 언어 및 도메인 시프트에 걸쳐 안정적인 보정 및 구분력을 제공하는가?
• RQ3 가장 불확실한 예측을 거절하는 것이 도메인 내/도메인 외 조건에서 매크로 F1에 어떤 영향을 미치는가?
• RQ4 UE 지표 간 상관관계는 무엇이며, 다국어 NLP에서의 실용적 선택적 예측에 무엇을 시사하는가?
• RQ5 이 설정에서 UE 방법의 실용적 계산 비용은 얼마나 되는가?

주요 결과

• 소프트맥스 기반 SR은 고자원 내 도메인 조건에서 여전히 경쟁력이 있지만 저자원이나 도메인 시프트 하에서 저하된다.
• MC-드롭아웃 기반 방법(SMP, ENT-MC, PV, BALD)은 언어와 조건에 따른 보정 및 구분력을 더 견고하게 제공한다.
• MD 및 하이브리드 HUQ-MD는 일관된 구분 및 선택적 예측을 제공하지만 보정은 다소 약할 수 있다.
• 이상치 탐지기(ISOF, LOF)는 구분/선택에서 잘 작동할 수 있으나 언어 간 불안정성을 보이고, MD 기반 점수화가 전반적으로 더 신뢰할 만하다.
• 가장 불확실한 5~10% 예측을 거부하면 매크로-F1이 눈에 띄게 개선되며(예: Readme 과제에서 SR/ENT가 도메인 내 이득이 강함; MC-드롭아웃 방법은 시프트에서 두각을 나타냄).
• SR 및 ENT는 계산적으로 저렴하고 고자원 도메인 내 설정에서 강건하지만, 도메인/언어 변화 하에서는 보정성과 신뢰성 면에서 더 나은 MC-드롭아웃 방법이 선호된다.