[論文レビュー] Robustness Quantification and Uncertainty Quantification: Comparing Two Methods for Assessing the Reliability of Classifier Predictions

Adrián Detavernier, Jasper De Bock|arXiv (Cornell University)|Mar 24, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

論文は NBC と GeFs に対する per-prediction の信頼性評価において Robustness Quantification (RQ) と Uncertainty Quantification (UQ) を比較し、分布シフトの下で特にRQ が競争力が高い、あるいは優れていることが多いと示し、両者を組み合わせることで信頼性評価を改善できることを示す。

ABSTRACT

We consider two approaches for assessing the reliability of the individual predictions of a classifier: Robustness Quantification (RQ) and Uncertainty Quantification (UQ). We explain the conceptual differences between the two approaches, compare both approaches on a number of benchmark datasets and show that RQ is capable of outperforming UQ, both in a standard setting and in the presence of distribution shift. Beside showing that RQ can be competitive with UQ, we also demonstrate the complementarity of RQ and UQ by showing that a combination of both approaches can lead to even better reliability assessments.

研究の動機と目的

• 二つのアプローチ：不確実性定量化（UQ）とロバストネス定量化（RQ）を用いて、分類器出力の個々の予測の信頼性を評価する。
• Naive Bayes と Generative Forests を用いて実データセット上で両アプローチをベンチマークし、信頼性指標を評価する。
• UQとRQ の補完性を検討するため、ハイブリッド信頼性順序を提案・評価する。
• 分布シフトとデータ制限が UQ と RQ の相対的な性能に与える影響を探る。

提案手法

• 確率的生成モデル分類器の不確実性指標を形式化する。例として u_max、u_conf、u_H、およびアンサンブルベースの u_t、u_a、u_e を含む。
• NBC と GeFs のためのグローバルε汚染（r_glob）および局所パラメータ摂動（r_loc）としてのロバストネス指標を定義する。
• ARC（accuracy rejection curves）を用いて信頼性を評価し、AU-ARC を総括指標として報告する。
• 離散特徴を持つ UCI データセットを使用し、訓練/テスト分割を 60/40、最大 3000 件のデータを使用し、モデル固有の訓練設定を適用する。
• 標準設定と、訓練データの削減と分布シフトによる epistemic 不確実性が高まるシナリオを比較する。
• hybrid ordering h_i = γ n_u,i + (1−γ) n_r,i を提案し、訓練データ上で γ を最適化して UQ と RQ を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 不確実性ベースの信頼性指標は NBC と GeFs における個々の予測の信頼性指標とどのように比較されるか。
• RQ2 分布シフトや限られた訓練データの下で、局所ロバストネス指標はグローバルロバストネスおよび特定の UQ 指標より効果的か。
• RQ3 不確実性とロバストネスを組み合わせたハイブリッド手法は、インスタンスの信頼性順序を改善できるか。
• RQ4 データセットの特性が UQ 対 RQ、そして両者の組み合わせの相対的価値の決定にどのような役割を果たすか。

主な発見

• 局所的ロバストネス（特に r_loc）は標準設定でしばしば不確実性指標を上回り、エピステミック不確実性の下でより有利になる。
• グローバルロバストネス（r_glob）は、研究対象のシナリオでは局所ロバストネスおよびいくつかの UQ 指標と比べて総じて競争力が低い。
• 不確実性とロバストネスを加重ハイブリッド順序で組み合わせることは、データセット全体で信頼性評価を改善することが多い。
• 最適な融合ウェイト γ* はデータセットとモデルタイプにより異なり、タスクごとの不確実性 vs ロバストネスの相対的重要性を示す。
• ハイブリッド手法は信頼性指標の順序性（AU-ARC）を改善するだけでなく、データセット固有の信頼性要因の解釈性も提供する。