[論文レビュー] To Predict or Not to Predict? Towards reliable uncertainty estimation in the presence of noise

Nouran Khallaf, Serge Sharoff|arXiv (Cornell University)|Mar 7, 2026

Text Readability and Simplification被引用数 0

ひとこと要約

要約: 本論文はノイズおよびドメインシフト下での多言語テキスト分類の不確実性推定方法を9手法でベンチマークし、特に低リソースおよび未知ドメイン設定において、ソフトマックスベースの手法よりもMCドロップアウトに基づくアプローチが一般にロバストなキャリブレーションと選択的予測を提供することを示している。

ABSTRACT

This study examines the role of uncertainty estimation (UE) methods in multilingual text classification under noisy and non-topical conditions. Using a complex-vs-simple sentence classification task across several languages, we evaluate a range of UE techniques against a range of metrics to assess their contribution to making more robust predictions. Results indicate that while methods relying on softmax outputs remain competitive in high-resource in-domain settings, their reliability declines in low-resource or domain-shift scenarios. In contrast, Monte Carlo dropout approaches demonstrate consistently strong performance across all languages, offering more robust calibration, stable decision thresholds, and greater discriminative power even under adverse conditions. We further demonstrate the positive impact of UE on non-topical classification: abstaining from predicting the 10\% most uncertain instances increases the macro F1 score from 0.81 to 0.85 in the Readme task. By integrating UE with trustworthiness metrics, this study provides actionable insights for developing more reliable NLP systems in real-world multilingual environments. See https://github.com/Nouran-Khallaf/To-Predict-or-Not-to-Predict

研究の動機と目的

• ノイズとドメインシフト下での多言語文の複雑さ分類のロバスト性に対する不確実性推定（UE）手法の影響を評価する。
• 複数言語とデータセットに渡る多様なUE技術を比較する。
• 複数のUE評価指標を分析し、識別性・キャリブレーション・選択的予測を理解する。
• 実世界の多言語NLPシステムへUEを展開する際の実用的なガイダンスを提供する。

提案手法

• Readmeデータを二値の単純/複雑タスクへ翻訳したデータセットで、マルチリンガルmBERT分類器を5-foldクロスバリデーションで訓練する。
• 確率的・幾何学的・ハイブリッドアプローチを含む9つのUE手法を評価する（SR，SMP，ENT，ENT-MC，PV，BALD，MD，LOF，ISOF，HUQ-MD，LOF，ISOF）。
• MC-Dropout（T=20）を用いてSMP、ENT_MC、PV、BALDの派生を得; 複数の確率的フォワードパスから関連する不確実性スコアを算出。
• UE品質を3つの指標視点で評価する：不確実性識別（ROC-AUC，AU-PRC）、キャリブレーション（C-Slope，CITL，ECE）、選択的予測（RC-AUC，N.RC-AUC，E-AUoptRC，TI）。
• Readmeに加え Vikidia/Wikipedia/Simplext でドメイン/言語シフトを分析し、ドメインシフト耐性と棄却ゲインを報告する。

実験結果

リサーチクエスチョン

• RQ1 ノイズがある条件やトップクへの非適合条件下で、さまざまなUE手法は多言語文の複雑さ分類でどのように性能を発揮するか？
• RQ2 どのUE手法が言語やドメインシフトを跨いで安定したキャリブレーションと識別を提供するか？
• RQ3 最も不確実な予測を棄却することが、インドメインおよびアウトオブドメイン条件でマクロF1にどのような影響を与えるか？
• RQ4 UE指標はどのように相関し、実用的な選択的予測に何を示唆するか？
• RQ5 この設定におけるUE手法の実用的な計算コストはどの程度か？

主な発見

• ソフトマックスベースのSRは高リソースのイン-domain設定で依然競合するが、低リソースやドメインシフト下では劣化する。
• MC-Dropoutベースの手法（SMP、ENT-MC、PV、BALD）は、言語や状況を跨いでより堅牢なキャリブレーションと識別を提供する。
• MDおよびハイブリッドHUQ-MDは一貫した識別と選択的予測を提供するが、キャリブレーションは弱い場合がある。
• アウトライア検出器（ISOF、LOF）は識別/選択には有効だが言語間で不安定さを示すことがある；MDベースのスコアリングは全体的に信頼性が高い。
• 最も不確実な予測の5–10%を棄却するとマクロ-F1が著しく改善される（例：Readmeタスク、SR/ENTはイン-domainで強い利得を示す；MC-Dropoutはシフト下で優れる）。
• SRとENTは計算コストが低くイン-domainの高リソース設定で堅牢だが、ドメイン/言語変動下ではキャリブレーションと信頼性の点でMC-Dropout手法が有利である。