[論文レビュー] Evaluating model calibration in classification

Juozas Vaicenavičius, David Widmann+4 more|arXiv (Cornell University)|Feb 19, 2019

Software Reliability and Analysis Research被引用数 90

ひとこと要約

この論文は確率的分類器の校正を評価する一般的な理論的フレームワークを開発し、ミスキャリブレーションを定量化・可視化する洗練された手法を導入しており、多次元な信頼性図を含む。

ABSTRACT

Probabilistic classifiers output a probability distribution on target classes rather than just a class prediction. Besides providing a clear separation of prediction and decision making, the main advantage of probabilistic models is their ability to represent uncertainty about predictions. In safety-critical applications, it is pivotal for a model to possess an adequate sense of uncertainty, which for probabilistic classifiers translates into outputting probability distributions that are consistent with the empirical frequencies observed from realized outcomes. A classifier with such a property is called calibrated. In this work, we develop a general theoretical calibration evaluation framework grounded in probability theory, and point out subtleties present in model calibration evaluation that lead to refined interpretations of existing evaluation techniques. Lastly, we propose new ways to quantify and visualize miscalibration in probabilistic classification, including novel multidimensional reliability diagrams.

研究の動機と目的

• 安全性が重要な分類タスクにおける校正済み確率推定の重要性を動機づける。
• 確率論に基づく一般的な確率的校正評価フレームワークを構築する。
• 解釈に影響を与える既存の校正評価手法の微妙な点を特定する。
• ミスキャリブレーションを定量化・可視化する新しい指標と視覚化ツールを提案する。

提案手法

• 確率論に基づく確率的校正評価フレームワークを定式化する。
• 既存の校正指標と評価手順の微妙な点を分析する。
• ミスキャリブレーションの新しい視覚化手法を導入する。多次元信頼性図を含む。

実験結果

リサーチクエスチョン

• RQ1 確率的分類器の校正をどのように厳密に定義し評価できるか。
• RQ2 一般的な校正評価手法にはどのような微妙な点があり、それをどのように精緻化できるか。
• RQ3 多クラス設定でミスキャリブレーションを効果的に定量化・視覚化できる新しい指標と可視化ツールは何か。

主な発見

• 確率論に基づく校正評価の理論的フレームワークが提案される。
• 既存の校正評価手法の微妙な点を特定し、解釈を洗練させる。
• ミスキャリブレーションの定量化と可視化の新手法を導入する。多次元信頼性図を含む。