[論文レビュー] Classifier Calibration: A survey on how to assess and improve predicted class probabilities

Telmo M. Silva Filho, Hao Song+4 more|arXiv (Cornell University)|Dec 20, 2021

Anomaly Detection Techniques and Applications被引用数 14

ひとこと要約

本調査は、二値および多値分類設定における分類器のキャリブレーションについて、包括的かつ最新の概要を提供しており、評価指標、可視化技術、および等方的キャリブレーション、プラットスケーリング、ニューラルネットワークベースのキャリブレーション層といった事後キャリブレーション手法をカバーしている。本調査では、適切なスコアリングルール、統一された評価フレームワークを強調し、予測不確実性の定量的評価を向上させる目的で、PyCalibと呼ばれるオープンソースのPythonライブラリを紹介している。特に、重要な応用分野における予測不確実性の質を向上させることを目的としている。

ABSTRACT

This paper provides both an introduction to and a detailed overview of the principles and practice of classifier calibration. A well-calibrated classifier correctly quantifies the level of uncertainty or confidence associated with its instance-wise predictions. This is essential for critical applications, optimal decision making, cost-sensitive classification, and for some types of context change. Calibration research has a rich history which predates the birth of machine learning as an academic field by decades. However, a recent increase in the interest on calibration has led to new methods and the extension from binary to the multiclass setting. The space of options and issues to consider is large, and navigating it requires the right set of concepts and tools. We provide both introductory material and up-to-date technical details of the main concepts and methods, including proper scoring rules and other evaluation metrics, visualisation approaches, a comprehensive account of post-hoc calibration methods for binary and multiclass classification, and several advanced topics.

研究の動機と目的

• 研究者および実務家向けに、分類器のキャリブレーションに関する統一的でアクセスしやすく、技術的に詳細な概要を提供すること。
• 特に多値設定におけるキャリブレーションに関する概念的曖昧さを明確にし、信頼度キャリブレーションと完全クラスごとのキャリブレーションの違いを含む。
• 等方的、プラットスケーリング、ボーリング、ベータ、ニューラルキャリブレーションアプローチを含む、既存および最近のキャリブレーション手法を提示・比較すること。
• PyCalibと呼ばれるオープンソースのPythonライブラリを開発・公開し、キャリブレーション指標、可視化、キャリブレーションパイプラインの実装を可能とすること。
• 最適なボーリング選択、分布外入力に対するロバストネス、2次不確実性のモデリングといった、キャリブレーション分野における未解決問題を特定すること。

提案手法

• 本論文は、古典的および現代的なキャリブレーション技術を調査し、評価および学習の目的として適切なスコアリングルールを強調している。
• 誤差の定量的評価に向けた主要な指標として、クラスごとの期待キャリブレーション誤差（ECE）と信頼度ベースのECEを導入している。
• 信頼度の予測確率のビンごとに誤差のパターンを診断するための可視化ツールとして、信頼性図（reliability diagrams）を用いている。
• 等方的回帰、プラットスケーリング、ボーリングベースのアプローチといった事後キャリブレーション手法を体系的にレビュー・比較している。
• ニューラルキャリブレーションレイヤーは、Kクラス問題へのプラットスケーリングの拡張として、エンドツーエンドの解決策として導入されている。
• 著者らは、ECEと信頼性図を用いたキャリブレーションの評価、誤差の検出、その後に事後キャリブレータを適用して性能を向上させるパイプラインを提案している。

実験結果

リサーチクエスチョン

• RQ1 二値および多値設定の両方において、分類器のキャリブレーションを一貫して定義・評価する方法は何か？
• RQ2 信頼度キャリブレーションと完全クラスごとのキャリブレーションの主な違いは何であり、なぜその区別が重要なのか？
• RQ3 異なる誤差パターンに適した、事後キャリブレーション手法の中で、どの手法が最も優れているのか、そしてどのように選択すべきか？
• RQ4 適切なスコアリングルールや専用の損失関数を用いることで、学習段階でのキャリブレーションをどのように改善できるか？
• RQ5 分布シフトや分布外入力の影響を受ける状況において、事後キャリブレーション手法の限界は何か？

主な発見

• ログロスのような適切なスコアリングルールは、モデルの訓練および評価の両方において効果的であり、適切にキャリブレートされた確率推定を促進する。
• 等方的回帰やプラットスケーリングといった事後キャリブレーション手法は、良好に訓練されたモデルに適用することで、期待キャリブレーション誤差（ECE）を顕著に低減できる。
• 多値キャリブレーションは二値よりも複雑であり、1対多のタスクに分解すると正規化された確率がキャリブレーションされない可能性があるため、ネイティブな多値手法の導入が不可欠である。
• PyCalibライブラリは、キャリブレーションの評価、可視化、適用を統合したフレームワークを提供しており、幅広いキャリブレーション技術と指標をサポートしている。
• ECE計算におけるボーリング戦略やビン数の選択に標準的手法が存在せず、交差検証を用いることでハイパーパrameterのチューニングが可能である。
• 現在の事後キャリブレーション手法は、分布外入力に対するロバストネスを向上させないため、不確実性推定分野における主要な未解決課題である。